JP2020506742A - 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 - Google Patents

断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 Download PDF

Info

Publication number
JP2020506742A
JP2020506742A JP2019536278A JP2019536278A JP2020506742A JP 2020506742 A JP2020506742 A JP 2020506742A JP 2019536278 A JP2019536278 A JP 2019536278A JP 2019536278 A JP2019536278 A JP 2019536278A JP 2020506742 A JP2020506742 A JP 2020506742A
Authority
JP
Japan
Prior art keywords
data
data set
scan data
scan
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019536278A
Other languages
English (en)
Other versions
JP7202302B2 (ja
Inventor
デ・マン，ブルーノ・クリスティアン・バーナード
クラウス，バーナード・エリック・ハーマン
シーエ，ジアン
ジン，ヤナン
シン，ジャンフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020506742A publication Critical patent/JP2020506742A/ja
Application granted granted Critical
Publication of JP7202302B2 publication Critical patent/JP7202302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/432—Truncation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

方法は、様々なタイプの欠落した投影または他の再構築されていないデータを推定するためのディープラーニング技法の使用に関し、その技法は訓練済ニューラルネットワーク（５０）を使用して実施することができる。同様に、本方法は、欠落した投影データを推定するのとは対照的に、破損したまたは誤った投影データを置換または修正するためにも使用することができる。【選択図】図１０

Description

本明細書で開示される主題は、断層撮影再構成に関し、特に、再構成プロセスにおいて欠落データ、破損データ、またはノイズのあるデータを推定するためのディープラーニング技法の使用に関する。
非侵襲的撮像技術は、患者／対象物に侵襲的処置を施すことなく患者／対象物の内部構造または特徴の画像を得ることを可能にする。特に、そのような非侵襲的撮像技術は、データを取得し、画像を構築するか、あるいは患者／対象物の観察された内部特徴を表すために、様々な物理的原理（ターゲットボリュームを通過するＸ線の差動透過、ボリューム内の音波の反射、ボリューム内の様々な組織および材料の常磁性、体内のターゲット放射性核種の破壊など）に依存している。
例として、Ｘ線ベースのコンピュータ断層撮影（ＣＴ）（例えば、マルチスライスＣＴ）およびＸ線Ｃアームシステム（例えば、コーンビームＣＴ）などの様々な撮像様式が、対象物または患者に関する様々な角度または視野から対象物または患者の投影データを測定する。投影データは、ラドン変換、ファンビーム変換、またはコーンビーム変換に対応する。断層撮影再構成技術を使用して、断面画像または立体画像を投影データから推定または「再構成」することができる。例えば、ＣＴの場合、断面画像は投影データ（すなわちラドン変換データ）から再構成することができる。
中国特許出願公開第１０６２９６６５３号明細書
様々な理由から、所与の検査についての投影データの一部が（理想的なまたは数学的に完全な投影データセットに対して）破損または欠落していることがあり、それが画像アーチファクトを引き起こす可能性がある。従来の内挿技法、外挿技法、または反復推定技法では、欠落データまたは不完全なデータのそのようなインスタンスに常に適切に対処するわけではなく、場合によっては計算が遅くなる可能性がある。
一実施形態では、断層撮影再構成に使用するための欠落データを推定する方法が提供される。この方法によれば、スキャンデータセットが取得またはアクセスされる。スキャンデータセットは、不完全または不適切なデータの１つまたは複数の領域を有する。スキャンデータセットは、１つまたは複数の訓練済ニューラルネットワークを使用して処理される。不完全または不適切なデータの各領域についての推定データセットは、１つまたは複数の訓練済ニューラルネットワークを使用して生成される。推定データセットと組み合わせたスキャンデータセットは、補正されたスキャンデータセットに対応する。１つまたは複数の再構成画像を生成するために、補正されたスキャンデータセットの断層撮影再構成が実行される。
さらなる実施形態では、画像処理システムが提供される。この実施形態によれば、画像処理システムは、１つまたは複数の格納されたプロセッサ実行可能ルーチンを実行するように構成された処理コンポーネントと、１つまたは複数の実行可能ルーチンを格納するメモリと、を含む。１つまたは複数の実行可能ルーチンは、処理コンポーネントによって実行された場合に、スキャンデータセットを取得またはアクセスするステップであって、スキャンデータセットは、不完全または不適切なデータの１つまたは複数の領域を有する、ステップと、１つまたは複数の訓練済ニューラルネットワークを使用してスキャンデータセットを処理するステップと、１つまたは複数の訓練済ニューラルネットワークを使用して、不完全または不適切なデータの各領域について推定データセットを生成するステップであって、推定データセットと組み合わされたスキャンデータセットは、補正されたスキャンデータセットに対応する、ステップと、１つまたは複数の再構成画像を生成するために、補正されたスキャンデータセットの断層撮影再構成を実行するステップと、を含む動作を実行させる。
別の実施形態では、ニューラルネットワーク訓練方法が提供される。この方法によれば、複数の完全スキャンデータセットが取得またはアクセスされる。完全スキャンデータセットは、測定またはシミュレートされる。各完全スキャンデータセット内の１つまたは複数の領域は、ターゲット出力領域としてマーキングされている。ターゲット出力領域としてマーキングされていない各完全スキャンデータセットの１つまたは複数の領域は、既知のデータ領域として利用可能である。各完全スキャンデータセットについて、既知の領域に対するスキャンデータと、ターゲット出力領域に対する対応するスキャンデータと、をニューラルネットワークに提供することによって、ニューラルネットワークが訓練されて訓練済ニューラルネットワークを生成する。
一実施形態では、ニューラルネットワーク訓練方法が提供される。この方法によれば、複数のスキャンデータセットが取得またはアクセスされる。各スキャンデータセットの１つまたは複数のターゲット領域ならびに各スキャンデータセットの１つまたは複数の入力領域について、１つまたは複数の画像品質メトリクスが生成または取得される。スキャンデータセット、各スキャンデータセットのターゲット領域の画像品質メトリクス、および各スキャンデータセットの入力領域の画像品質メトリクスをニューラルネットワークに提供することによって、ニューラルネットワークが訓練されて訓練済ニューラルネットワークを生成する。
本発明のこれらの特徴、態様、および利点、ならびに他の特徴、態様、および利点が、以下の詳細な説明を添付の図面を参照しつつ検討することで、よりよく理解されるであろう。添付の図面において、類似の符号は、図面の全体を通して、類似の部分を表している。
本開示の態様による、ディープラーニングモデルを訓練するための人工ニューラルネットワークの一例を示す図である。 本開示の態様による、コンピュータ断層撮影（ＣＴ）撮像システムの構成要素を示すブロック図である。 本開示の態様による、中心を外れた金属対象物に対応する欠落データを有し、それによって欠落または破損データの領域を作成するサイノグラムの一例を示す図である。 本開示の態様による、中心に配置された金属対象物または欠落した検出器領域に対応する欠落データを有するサイノグラムの一例を示す図である。 本開示の態様による、完全なＣＴビューまたは投影の一例を示す図である。 本開示の態様による、軸横断方向に切り捨てられた図５のＣＴビューまたは投影を示す図である。 本開示の態様による、長手方向に切り捨てられた図５のＣＴビューまたは投影を示す図である。 本開示の態様による、軸横断方向および長手方向の両方向に切り捨てられた図５のＣＴビューまたは投影を示す図である。 本開示の態様による、訓練済ニューラルネットワークを使用して欠落データ領域内のサイノグラムデータを推定するプロセスフローの視覚的表現を示す図である。 本開示の態様による、サイノグラムデータを推定するためのステップのプロセスフロー図である。 本開示の態様による、再ビンニング操作を示す図である。 本開示の態様による、片側パッチベースの推定操作を示す図である。 本開示の態様による、両側パッチベースの推定操作を示す図である。 本開示の態様による、投影データ推定操作の結果の一例を示す図である。 本開示の態様による、トレースベースの推定操作を示す図である。 本開示の態様による、再帰的推定操作を示す図である。 本開示の態様による、空間的に変動する推定操作を示す図である。 本開示の態様による、代替的な空間的に変動する推定操作を示す図である。
１つまたは複数の具体的な実施形態を以下に記載する。これらの実施形態の簡潔な説明を提供しようと努力しても、実際の実施態様のすべての特徴を本明細書に記載することができるというわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないし、また、これらの制約条件は実施ごとに異なる可能性があることを理解されたい。さらに、このような開発努力は、複雑で時間がかかるが、それでもなお本開示の利益を有する当業者にとっては、設計、製作、および製造の日常的な仕事であることを理解されたい。
以下の説明の態様は医用撮像の場面で提供されるが、本技術はそのような医療の場面に限定されないことを理解されたい。実際に、このような医療の場面における例および説明の提供は、現実の実施態様および用途の事例を提供することによって説明を容易にすることに過ぎない。しかしながら、本手法は、製造された部品または商品の非破壊検査（すなわち、品質管理または品質レビュー用途）で使用される工業用コンピュータ断層撮影（ＣＴ）用の断層画像再構成、および／または包装、箱、荷物などの非侵襲的検査（すなわち、セキュリティまたはスクリーニング用途）などの、他の場面でも利用することができる。一般に、本手法は、取得されたデータのセットまたはタイプが、画像またはボリュームを生成するために再構成プロセスを受ける場合、ならびに取得されたデータが、そうでなければ再構成された画像に影響を与えるであろう省略、ノイズ、または破損を受ける可能性がある場合に、任意の撮像またはスクリーニングの場面または画像処理分野において望ましい可能性がある。
本明細書ではＣＴの例を主に提供するが、不完全な、破損した、またはノイズの多いデータが下流の断層撮影再構成プロセスまたは得られる画像に影響を及ぼし得る他の撮像様式の場面で本手法を使用できることを理解されたい。例えば、本明細書に記載の手法は、陽電子放出断層撮影法（ＰＥＴ）、単一光子放出コンピュータ断層撮影法（ＳＰＥＣＴ）、位相コントラスト撮像法、および／または磁気共鳴画像法（ＭＲＩ）を含むがこれらに限定されない他のタイプの断層撮影スキャナと共に使用するのにも適切であり得る。
ＣＴの場面内では（そして言及されている他の撮像様式では結果的に問題があり得るように）、サイノグラムは軸投影データの標準的表現であり、そこでは、測定データは、１つの軸が投影／視野角に対応する２Ｄ構成に配置され、他の軸は、投影／視野角に対して本質的に垂直な空間オフセットに対応する。例えば、ファンビームＣＴ取得では、第１の軸はガントリ角に対応し、第２の軸はファン内の光線の角度（または同様に検出器アレイ内のピクセルの位置）に対応する。したがって、この２Ｄの場面では、本明細書で参照することができるような欠落データの領域は、測定が不完全である、破損している、および／またはそうでなければ同じ品質ではない、このサイノグラムドメイン内の１つまたは複数の連続領域を指す。説明を単純にするためにも説明を容易にするためにも、本説明は２Ｄの場面における例に焦点を合わせているが、本手法はまた、３Ｄの場面（例えばコーンビームＣＴ）において実施することができ、第３の軸は方位角、すなわち軸平面に対する投影光線の角度を表す。したがって、そのような３Ｄの実施態様では、投影データは、回転角（ビュー数）、検出器カラム（軸横断方向）、および検出器ロウ（長手方向）の３つの次元を有する。そのような場面では、欠落データのパッチまたはトレースは３次元であってもよく、利用可能なまたは既知のデータの隣接するパッチまたはトレースは３次元であってもよく、そして本概念の第３の次元への外挿は当業者には明らかである。
本明細書で述べたように、様々な理由から、断層撮影再構成（例えば、断面画像またはボリューム画像の再構成）のために取得された投影（または他の）データの一部が破損または欠落することがあり、これは再構成画像にアーチファクトをもたらす可能性がある。投影データが欠落している原因の例には、以下のものが含まれるが、これらに限定されない。（１）撮像されたボリューム内の金属対象物または高密度対象物−高い減衰および関連する物理的効果のために、金属対象物の影の投影データが破損し、「欠落」していると見なされ得る。（２）軸横断方向の切り捨て−撮像対象または患者がスキャン視野の外側に延在していると、投影は切り捨てられていると言われる、すなわち、良好な再構成に必要ないくつかの投影データが欠落している。（３）長手方向の切り捨て−コーンビーム再構成では、再構成されたボリュームの一部は、有限数の検出器列のために測定されないか、または不十分にサンプリングされる。（４）不良な検出器ピクセルまたは検出器モジュール間のギャップ−個々の検出器ピクセルまたは検出器ピクセルのグループが確実に動作しない可能性があり、データが欠落していると見なされる。同様に、検出器モジュールまたはパネル間にギャップがあり、欠落データが生じる可能性がある。
欠落したまたは不完全な投影データに関連する問題に対処するために、本手法は、訓練済ニューラルネットワークの形態などでディープラーニング技術を使用して、様々なタイプの欠落した投影データを推定する。ニューラルネットワークは投影データを使用して訓練することができ、データの一部は推定されるべき欠落データとして定義され、残りのデータはネットワークへの入力として使用することができる利用可能なデータである。同様に、本手法はまた、（欠落した投影データを推定するのとは対照的に）破損したまたは誤った投影データを置換または修正するために使用されてもよい。例えば、より一般的なデータエラー（ビーム硬化、散乱、ノイズなどによる）は、訓練済ニューラルネットワークおよび本明細書で一般的に説明される方法論を使用してこの手法によって対処することができる。そのような場合、欠落した投影データを推定する代わりに、不正確なデータを補正するために採用することができる１つまたは複数の補正項が推定することができる。あるいは、補正された投影データは直接推定することができ、それは次いで破損した投影データを置き換える。
前述の導入コメントを念頭において、本明細書に記載の手法は、ＣＴ、ＰＥＴ、ＳＰＥＣＴ、またはＭＲ画像を生成するために使用される再構成プロセスなどの断層撮影再構成プロセスで使用される欠落データを推定するためにディープラーニング技法を利用する。本明細書で説明するように、ディープラーニング技法（ディープマシンラーニング、階層型ラーニング、またはディープストラクチャードラーニングとしても知られている）は、データの数学的表現および学習のための人工ニューラルネットワークを用いるマシンラーニング技法の一分野である。例として、ディープラーニング手法は、関心のある種類のデータの高レベルの抽象化を抽出またはモデル化するための１つまたは複数のネットワークアーキテクチャの使用を特徴とすることができる。これは、１つまたは複数の処理層を使用して達成することができ、この場合、層の数および構成によって、ネットワークは複雑な情報抽出およびモデリング作業に対処することができる。ネットワークの特定のパラメータ（いくつかの場面では「重み」および「バイアス」と呼ばれる）は通常、いわゆる学習プロセスを通じて推定されるが、ただし、いくつかの実施形態では、学習プロセス自体もネットワークアーキテクチャの学習要素に拡張することができる。推定／学習されたパラメータは、通常、各層が異なる抽象レベルに対応するネットワークをもたらす。したがって、先行する層の初期データまたは出力の異なる態様を潜在的に抽出またはモデル化する、すなわち、そのようなネットワークは階層または層のカスケードを表すことが多い。画像処理または再構成の場面では、これはデータ内の異なる特徴レベルまたは解像度に対応する異なる層として特徴付けられることがある。したがって、処理は階層的に進行することができる、すなわち、より早いレベルまたはより高いレベルの層は、入力データから「単純な」特徴を抽出し、続いてこれらの単純な特徴をより高いレベルの複雑さを示す特徴に組み合わせる層に対応することができる。実際には、各層（またはより具体的には各層内の各「ニューロン」）は、その層の入力データを出力データ表現に処理するために１つまたは複数の線形変換および／または非線形変換（いわゆる活性化関数）を使用することができる。
本明細書で説明するように、特定の問題を解決するためのディープラーニングプロセスの初期訓練の一部として、既知の入力値（例えば、入力画像または入力投影データ値）、ならびにディープラーニングプロセスの最終出力（例えばターゲット画像または投影データ値）の一方または両方に対する、あるいはディープラーニングプロセスの個々の層（多層ネットワークアーキテクチャを想定）に対する既知の値または所望の値を有する訓練データセットを採用することができる。このようにして、ディープラーニングアルゴリズムは、初期データと所望の出力との間の数学的関係が識別されるまで、および／または各層の入力と出力との間の数学的関係が識別され特徴付けられるまで、既知のデータセットまたは訓練データセットを（教師付きまたはガイド付きの方法で、あるいは教師なしまたはガイドなしの方法で）処理することができる。学習プロセスは通常、入力データ（の一部）を利用して、この入力データに対するネットワーク出力を作成する。次いで、作成された出力はこのデータセットに対する所望の（ターゲット）出力と比較され、次いで生成された出力と所望の出力との間の差がネットワークのパラメータ（重みおよびバイアス）を反復して更新するために使用される。そのような更新／学習メカニズムの１つは、ネットワークのパラメータを更新するために確率的勾配降下（ＳＧＤ）手法を使用するが、当技術分野において公知の他の方法も同様に使用することができる。同様に、入力ターゲット値と所望のターゲット値の両方が分かっている別々の検証データセットを使用することができるが、初期値だけが訓練済ディープラーニングアルゴリズムに供給され、次に、前の訓練を検証し、かつ／または過剰訓練を防止するために、出力をディープラーニングアルゴリズムの出力と比較する。
視覚化として、図１は、本明細書で説明するように、ディープラーニングモデルまたはネットワークとして訓練することができる人工ニューラルネットワーク５０の一例を概略的に示す。この例では、ネットワーク５０は多層であり、入力データ５１は入力層５２および隠れ層５８Ａ、５８Ｂ、５８Ｃなどを含む複数の層によって受信または取得され、出力層６０および訓練ターゲット６４がネットワーク５０内に存在する。この例では、各層は複数の「ニューロン」５６からなる。ニューロン５６の数は、層の間で一定であってもよく、または図示するように層ごとに異なってもよい。各層のニューロン５６は、次の階層のニューロン５６への入力として働くそれぞれの出力を生成する。実際には、バイアスを追加した入力の加重和を計算して、シグモイド活性化関数、正規化線形ユニット（ＲｅＬＵ）、またはその他の方法で指定またはプログラムされたものなどの活性化関数に従って各層の各ニューロンを「励起」または「活性化」する。本場面では、最終層の出力は、ターゲット投影データ値６４と関連して、損失または誤差関数６２を計算するために使用されるネットワーク出力６０（例えば、予測投影データ）を構成し、損失または誤差関数６２は、（ＳＧＤまたはその他の手法を使用して）ネットワークトレーニングをガイドするために逆伝搬される。本明細書で説明するように、特定の投影ベースの場面では、ニューラルネットワーク５０の出力６０は、単一の投影データ番号（すなわち単一の欠落したまたは補正された投影値）、投影データパッチ、または投影データのトレースのうちの１つまたは複数であってもよい。図１は明確な層ごとのアーキテクチャを持つ単純な完全接続ネットワークを示しているが、個々の層、複数の層の組み合わせ、またはフルネットワークに対して他のアーキテクチャを選択することもできる。例えば、１つまたは複数の層は、畳み込みニューラルネットワーク（ＣＮＮ）、または他のアーキテクチャによって表すことができる。同様に、ネットワークのいくつかの部分は、厳密に逐次的な層ごとの処理アーキテクチャに従って構成されていないハイブリッドアーキテクチャを利用することができる。例えば、いくつかの接続は、１つまたは複数の層をスキップする（すなわち、連続していない層に存在するノードを直接接続する）ことができ、あるいは、明確な層ごとのアーキテクチャに対応していないネットワークアーキテクチャを選択することができる。
損失または誤差関数６２は、ネットワーク出力（すなわち、予測投影データ値）と対応する訓練ターゲット（すなわち、実際のまたは真の投影データ値）との間の差を測定する。特定の実施態様では、損失関数は平均二乗誤差（ＭＳＥ）であってもよく、および／または他の画像または投影データの特徴を含む差を説明することができる。あるいは、損失関数６２は、問題の特定のタスクに関連した他のメトリクスによって定義することができる。
一実施形態では、ニューラルネットワーク５０の構成は、推定問題、入力、出力などの次元数に関する事前の知識によってガイドされるが、学習自体は「ブラックボックス」として扱われ、入力データの関数として所望の出力データ６０の最良近似を達成することに主にまたは専ら頼っている。そのようなシナリオでは、ネットワーク５０内の特定のニューロン５６がデータ内の特定の特徴に対応し得るという事実は、通常そのような解決策に自然に収束する学習プロセスに負っている。様々な代替的な実施態様では、データの特定の態様および／または特徴、撮像幾何学形状、再構成アルゴリズムなどを利用して、ニューラルネットワーク５０内の特定のデータ表現に明確な意味を与えることができる。これは、ニューラルネットワーク５０内の特定の層を別々に訓練（または事前訓練）または定義する機会を生み出すので、訓練をスピードアップするのに役立ち得る。
例えば、フィルタリングされた逆投影再構成アルゴリズムにおけるランプフィルタは（各投影画像内の）データの導関数に敏感であるという知識に基づいて、本明細書で説明するように、ニューラルネットワーク５０の初期層は、欠落した投影データの導関数を表すように事前訓練することができ、一方、後続の層は、導関数から欠落データ自体を再構成または推定するために使用することができる。
入力データおよび／またはターゲットデータはまた、一方または両方が、欠落データが推定しやすいドメインに変換されるように前処理ステップを施してもよい。欠落データが推定された後に、前処理ステップの逆である後処理ステップが最終推定データを取得するために適用されてもよい。例えば、高い周波数を強調する前処理ステップとして、１次元または多次元のハイパスフィルタを適用することができる。欠落データのディープラーニング推定の後に、１次元または多次元のローパスフィルタを適用して、ハイパスフィルタの効果を補償することができる。
同様の実施形態では、サイノグラムは、提案されたディープラーニング推定技法を適用する前に、再投影されたサイノグラムを除算または減算することによって正規化することができる。ディープラーニング推定の後に、この正規化は、同じ再投影されたサイノグラムを乗算または加算することによって元に戻すことができる。再投影されたサイノグラムは初期再構成の再投影として得ることができ、初期再構成は標準的なタイプの金属アーチファクト低減を使用して得ることができる。そのような実施形態では、処理の目的は、欠落データを直接推定することではなく、従来技術からの方法によって、例えば、補正項を推定することによって、または元のデータおよび先の方法からの結果に基づいて補正データを推定することによって、得られた結果を改善することである。
最後に、入力データに加えて、ニューラルネットワークは追加の入力として重み（または信頼度）データも受け取ることができる。重みデータは、入力データの信頼度を表す。例えば、入力データの各要素は、重みデータ内に対応する要素を有することができる。より信頼性の高い入力データの部分、例えばノイズが少ないまたは破損が少ない部分は、より高い関連する重みデータを有する可能性がある。信頼性が低い入力データの部分、ノイズが多い部分または破損が多い部分は、より低い関連する重みデータを有する可能性がある。
同様に、本明細書で説明する特定のデータ推定手法（例えば、以下でさらに詳細に説明するトレースベースの推定など）に対して、データの周期性に関する知識（後述するように、入力データに対応するトレース内および推定されるデータに対応するトレース内など）データのフーリエ変換は、入力および／または出力に使用することができる。フーリエ変換または逆フーリエ変換を実施／近似するために、追加の層または後続の層を任意選択的に使用することができる。
さらに、本明細書で説明する投影データ推定手法については、雑音に対するロバスト性を高めるために、マルチスケール手法を使用することができ、その手法では、粗いスケールの投影データ情報は、精細なスケールの情報とは別に（少なくともいくつかの層で）処理される。粗いスケールの特徴と精細なスケールの特徴の組み合わせもまた別の層であってもよい。すなわち、ニューラルネットワーク５０の異なる層は、異なるレベルの粒度または解像度、あるいはそのようなスケールの組み合わせに対応することができる。
同様に、ニューラルネットワーク５０のアーキテクチャのいくつかの要素は、それぞれの再構成手法の要素または態様を活用するように構成、事前訓練、または訓練することができる。例として、限定された角度の再構成手法（例えばトモシンセシス）の場面では、（例えば、ストリークアーチファクトを最小限に抑えるためのソフトしきい値化を用いて）マルチスケール処理を非線形処理と組み合わせることができ、達成される画像品質の大幅な向上につながる。このような再構成手法の特徴が識別することができる場合、そのような再構成特徴を模倣するかまたは容易にするようにネットワークアーキテクチャを構成することができる、および／またはそのように訓練を実行することができる。このようにして、ニューラルネットワークによって実行されるような欠落データ推定ステップは、処理された投影データから３Ｄボリューム画像を生成するために利用される特定の再構成プロセスと密接に統合することができる。ここで、再構成プロセスのいくつかの態様（例えば、マルチスケールフィルタリング、ランプフィルタリングなど）は、本明細書で開示されているような処理によってすでに実行されていてもよい。例として、ニューラルネットワーク５０の中間層は、考慮された視野角の小さい角度範囲内の隣接する視野からのデータに基づいて、金属（または他の放射線不透過性）領域の後方または前方の構造の限定された角度の再構成のために、（いくつかの再構成手法では）必要な前処理を表すまたはそれに対応するように構成または訓練することができる。
さらに、ニューラルネットワーク５０の第１層は、本質的に解析関数からなるように構成または訓練することができる。例えば、第１層の出力は、本質的に、入力パッチ内のデータと解析関数とのスカラ積を表すことができる。サイノグラムの構造は理解されているので、一実施形態では、そのような解析関数（すなわち、サイノグラムが構成される正弦波プロファイルの特性を反映する関数）を明示的に構築することができる。そのような一実施態様では、そのようなネットワーク５０の第１層を学習／訓練する必要がないので、訓練はより速くなり得る。
これらのシナリオのいずれにおいても、訓練プロセスの後の段階は、以前に事前訓練された、または明示的にモデル化もしくは選択されたネットワーク５０の部分を更新／修正し、それによってネットワーク全体の性能をさらに改善するように依然として構成できる。
ディープラーニング技術を使用した本欠落データ推定の説明を容易にするために、本開示は主にＣＴシステムとの関連でこれらの手法を説明する。しかしながら、以下の議論は、ＰＥＴ、ＳＰＥＣＴ、およびＭＲＩを含むがこれらに限定されない他の画像モダリティおよびシステム、ならびに断層像再構成ステップを使用して不完全なまたは欠落したデータがあり得るデータセットから画像を再構成することができる、非医学的状況または任意の場面にも適用可能であり得ることを理解されたい。
これを念頭において、撮像システム１１０（すなわちスキャナ）の一例を図２に示す。図示する例では、撮像システム１１０は、患者（または他の被検体または関心のある被検体）の周りの様々なビューでスキャンデータ（例えば、Ｘ線減衰データ）を取得するように設計され、かつ、本明細書で説明するようなデータ完成技術を使用して画像再構成を実行するのに適したＣＴ撮像システムである。図２に示す実施形態では、撮像システム１１０は、コリメータ１１４に隣接して配置されたＸ線放射源１１２を含む。Ｘ線源１１２は、Ｘ線管、分散型Ｘ線源（固体または熱イオンＸ線源など）、または医用もしくは他の画像の取得に適した他の任意のＸ線放射線源であってもよい。
図示する例では、コリメータ１１４は、患者／対象物１１８が配置されている領域に入るＸ線ビーム１１６を整形または制限する。図示する例では、Ｘ線１１６は、撮像されたボリュームを通過する円錐形ビーム、すなわちコーンビームになるようにコリメートされている。Ｘ線放射１２０の一部は、患者／対象物１１８（または他の関心のある被検体）またはその周囲を通過して、符号１２２で一般的に表される検出器アレイに当たる。アレイの検出器素子は、入射Ｘ線１２０の強度を表す電気信号を生成する。これらの信号は、取得され処理されて、患者／対象物１１８内の特徴の画像を再構成する。
Ｘ線源１１２は、次のスキャンプロトコルのために患者／対象物内の関心のある解剖学的構造を識別するために使用される２次元ローカライザまたはスカウト画像の取得を含むＣＴ検査シーケンス用の電力および制御信号の両方を供給するシステムコントローラ１２４によって制御される。図示する実施形態では、システムコントローラ１２４は、システムコントローラ１２４の構成要素であり得るＸ線コントローラ１２６を介してＸ線源１１２を制御する。このような実施形態では、Ｘ線コントローラ１２６は、Ｘ線源１１２に電力およびタイミング信号を供給するように構成することができる。
さらに、検出器１２２はシステムコントローラ１２４に結合され、システムコントローラ１２４は検出器１２２で生成された信号の取得を制御する。図示する実施形態では、システムコントローラ１２４は、データ取得システム１２８を使用して、検出器により生成された信号を取得する。データ取得システム１２８は、検出器１２２の読み出し電子回路によって収集されたデータを受け取る。データ取得システム１２８は、検出器１２２からサンプリングされたアナログ信号を受け取って、後述するプロセッサ１３０による後の処理のためにデータをデジタル信号に変換することができる。あるいは、他の実施形態では、デジタル−アナログ変換は、検出器１２２自体に設けられている回路によって実行することができる。システムコントローラ１２４はまた、ダイナミックレンジの初期調整、デジタル画像データのインターリーブなどのために、取得した画像信号に対して各種の信号処理およびフィルタ処理機能を実行することができる。
図２に示す実施形態では、システムコントローラ１２４は、回転サブシステム１３２および線形位置決めサブシステム１３４に結合されている。回転サブシステム１３２は、Ｘ線源１１２、コリメータ１１４、および検出器１２２が、主に患者の周りのｘ、ｙ平面内で回転するなど、患者／対象物１１８の周りで１回または複数回回転することを可能にする。回転サブシステム１３２は、それぞれのＸ線放射および検出コンポーネントが配置されているガントリを含んでもよいことに留意されたい。したがって、このような実施形態では、システムコントローラ１２４は、ガントリを動作させるために利用することができる。
線形位置決めサブシステム１３４は、ガントリの回転に対してｚ方向になど、患者／対象物１１８、より具体的には患者を支持するテーブルをＣＴシステム１１０のボア内で変位させることを可能にすることができる。したがって、テーブルをガントリ内で（連続的または段階的な方法で）直線的に動かして、患者１１８の特定の領域の画像を生成することができる。図示する実施形態では、システムコントローラ１２４は、モータコントローラ１３６を介して回転サブシステム１３２および／または線形位置決めサブシステム１３４の動きを制御する。
一般的には、システムコントローラ１２４は、撮像システム１１０の動作を命令して（上述したＸ線源１１２、検出器１２２、および位置決めシステムの動作などを介して）、検査プロトコルを実行し、取得したデータを処理する。例えば、システムコントローラ１２４は、上述のシステムおよびコントローラを介して、関心のある被検体の周りでＸ線源１１２および検出器１２２を支持するガントリを回転させて、被検体に対して１つまたは複数のビューでＸ線減衰データを取得することができる。本場面では、システムコントローラ１２４はまた、信号処理回路、コンピュータによって実行されるプログラムおよびルーチン（本明細書に記載のデータ完了処理または再構成技法を実行するためのルーチンなど）、ならびに設定パラメータ、画像データなどを格納するための関連するメモリ回路を含むことができる。
図示する実施形態では、システムコントローラ１２４によって取得され処理された画像信号は、ここで開示されるアルゴリズムに従って画像を再構成するために処理コンポーネント１３０に供給される。処理コンポーネント１３０は、１つまたは複数の汎用または特定用途向けマイクロプロセッサであってもよい。データ取得システム１２８によって収集されたデータは、直接またはメモリ１３８に格納された後に処理コンポーネント１３０に伝送することができる。データを格納するのに適した任意の形式のメモリを、このような例示的なシステム１１０によって利用することができる。例えば、メモリ１３８は、１つまたは複数の光学的、磁気的、および／または固体のメモリ記憶構造を含むことができる。さらに、メモリ１３８は、取得システムに配置されてもよいし、ならびに／あるいは、後述するように、投影データ完成のためのデータ、処理パラメータ、および／またはルーチンを格納するための遠隔記憶装置を含んでもよい。
処理コンポーネント１３０は、通常キーボードおよび／または他の入力装置を含むオペレータワークステーション１４０を介して、オペレータから命令およびスキャンパラメータを受け取るように構成することができる。オペレータは、オペレータワークステーション１４０を介してシステム１１０を制御することができる。このように、オペレータは、オペレータワークステーション１４０を使用して、再構成された画像を観察し、かつ／またはシステム１１０を操作することができる。例えば、オペレータワークステーション１４０に結合されたディスプレイ１４２は、再構成された画像を観察するために、および撮像を制御するために利用することができる。加えて、画像はまた、オペレータワークステーション１４０に結合することができるプリンタ１４４によって印刷することもできる。
さらに、処理コンポーネント１３０およびオペレータワークステーション１４０は、他の出力装置に結合することができ、他の出力装置は、標準的なもしくは特殊目的のコンピュータモニタおよび関連する処理回路を含むことができる。１つまたは複数のオペレータワークステーション１４０は、システムパラメータを出力すること、検査を要求すること、および画像を閲覧することなどのために、システムにさらにリンクすることができる。一般的には、ディスプレイ、プリンタ、ワークステーションおよびシステム内で供給される類似の装置は、データ取得コンポーネントの場所にあってもよいし、あるいは、施設もしくは病院内の他の場所、またはまったく異なる場所など、これらのコンポーネントから離れた、１つまたは複数の構成可能なネットワーク、例えばインターネット、バーチャルプライベートネットワークなどを介して画像取得システムにリンクされた場所にあってもよい。
さらに、オペレータワークステーション１４０はまた、医用画像保管通信システム（ＰＡＣＳ）１４６に結合することもできることに留意されたい。ＰＡＣＳ１４６は次に、遠隔クライアント１４８、放射線科情報システム（ＲＩＳ）、病院情報システム（ＨＩＳ）、または内部もしくは外部のネットワークに結合することができ、そのようにして様々な場所の第三者が生のまたは処理された画像データにアクセスすることができる。
本明細書で論じられるように、本手法は、訓練済ニューラルネットワークとして実施されるディープラーニングを使用して、様々なタイプの欠落した投影データまたは断層撮影再構成において使用することができるデータを推定する。本手法はまた、破損またはノイズが投影空間内に存在することが知られている領域に対して補正または調整されたデータを生成するために使用することができる。例として、ＣＴ実施の場面では、本ディープラーニング手法を使用して、（ＣＴの場面ではサイノグラムとも呼ばれる）投影データドメイン内で欠落データを直接推定することができる。利用可能なまたは既知の投影データの適切なサブセットはニューラルネットワークの入力として働き、欠落した投影データの推定は所望の出力を表す。
欠落した投影データに関連する問題を例示するために、欠落データを示すサイノグラムの様々な例が示されている。例えば、図３および図４を参照すると、視野（ＦＯＶ）内に位置する金属対象物（または他の放射線不透過性材料）の効果（すなわち「影」）がサイノグラム１６０に示されている。この効果は、サイノグラム１６０内に欠落データのバンド１６２として現れ、図３のサイノグラムは、放射線不透過性対象物がＦＯＶ内の中心から外れている、したがって正弦波形状をトレースする例を示しており、一方、図４は、放射線不透過性対象物がＦＯＶ内の中心にあり、したがってサイノグラムの中心を通る直線またはバンドをトレースする例を示している。サイノグラムに欠落した直線バンドを有する同様の状況は、検出器に物理的なギャップがある場合、または１つまたは複数の破損した検出器セルがある場合に発生する。欠落データのバンドは、簡単にするために、そして一般的に概念を実証するために、一定の（またはほぼ一定の）幅のバンドとして描かれているが、例えば、円形の断面を持たない金属対象物の場合、それらの幅が（投影角度の関数として）変化してもよいことに留意されたい。本明細書に開示した欠落データ領域内のデータを推定する方法は、様々な形状の欠落データ領域に拡張される。
同様に、図５〜図８は、（図５に示すように）対応する完全なＣＴビューまたは投影１６６の参照ビューと比較して、異なるタイプのデータ切り捨て（図６〜図８）の例を示す。検出器が所与の寸法または複数の寸法（例えば、軸横断方向または長手方向の寸法）において小さすぎて対象物の全投影を測定することができない場合、データ切り捨て（例えば、切り捨てられたサイノグラム）が生じ得る。そのような例では、切り捨てられたＣＴビューまたは投影１６４に関する１つまたは複数のバンド１６２においてデータが欠落する可能性がある。撮像対象物の特性や撮像システムの回転軸に対する相対的な位置によっては、スキャンの一部（すなわち、サイノグラムの水平方向の長さ全体に及ばない角度範囲内）でのみ切り捨てが行われるため、データが欠落する可能性があり、欠落データ領域は、検出器アレイの両側で対称的でない場合がある。しかしながら、簡単にするために、対称的な例が図６〜図８に示されている。これらの例では、図６は、軸横断的に切り捨てられたＣＴビューまたは投影１６４の例を示す。図７は、長手方向に切り捨てられたＣＴビューまたは投影１６４の例を示し、図８は、軸横断方向および長手方向に切り捨てられたＣＴビューまたは投影１６４の例を示す。
欠落データ領域１６２に関しては、図３〜図５に示すように、そのような領域の存在、範囲、および境界は、１つまたは複数の技法または技法の組み合わせを使用して決定することができる。例として、欠落データ領域１６２は、以下のうちの１つまたは複数を使用して決定することができる。（１）投影ドメインにおける直接的なしきい値処理またはセグメント化、（２）初期画像再構成、それに続く画像ドメインにおけるしきい値処理またはセグメント化、それに続く再投影、それに続くしきい値処理またはマスキング、（３）検出器較正実験に基づく不良ピクセルマップ、（４）検出器モジュールまたはパネル間にギャップを有する既知の検出器形状、（５）推定された切り捨てられた投影データに固定数の追加の検出器の行または列を追加すること。一実施形態では、破損したデータの領域は、局所的な投影画像品質の評価によって識別または推定することができ、それ自体は、取得された投影データの局所的な「品質」を推定するためにディープラーニング手法（または当技術分野で知られている他の手法）を使用することができる。投影ドメイン内の欠落／破損したデータの領域を識別するためのこれらおよび他の方法の組み合わせもまた使用することができる。
標準的な内挿法および外挿法は、一般に、上記のような場合のように、欠落データ１６２の推定値を提供するのに満足のいくものではなかった。対照的に、本手法は、欠落データ１６２を推定するために、訓練済ニューラルネットワーク５０として実施されるディープラーニングを代わりに使用する。これは図９に概念的に示されている。図の左側には、欠落データ１６２を有するサイノグラム１６０が示されている。再構成された場合には、このサイノグラムは、金属アーチファクトを有する再構成画像１８０を生成し、ここでは、ＦＯＶ内の放射線不透過性（例えば、金属）対象物を中心とする「スターバースト」タイプのパターンとして明らかである。逆に、図９の右側には、訓練済ニューラルネットワーク５０を使用して、欠落データの推定または置換を受けているものとして同じサイノグラムが描かれている。この例では、欠落データ１６２の領域に隣接する領域１７０を訓練済ニューラルネットワーク５０への入力として使用して、欠落した投影値の推定値であるニューラルネットワーク５０の出力１７２を得る。サイノグラム１６０を推定した欠落値で再構成して、欠落データ１６２の推定が行われなかった画像１８０と同じ種類のストリーキングアーチファクトを示さない再構成画像１８２を生成することができる。
これは図１０にさらに示されており、図１０は上述のステップのプロセスフロー図を示す。この例では、不完全サイノグラム１８４が最初に提供され、その全部または一部が訓練済ニューラルネットワーク５０への入力として使用される。ニューラルネットワーク５０は、サイノグラム１８４から欠落している（または破損しているか、そうでなければ適切ではない）投影データを推定する（ステップ１８６）ために使用される。推定データは、完全なまたは補正されたサイノグラム１８８を生成するために使用される。次いで、再構成画像１９２を生成するために適切な再構成手法を使用して、完全なまたは補正されたサイノグラム１８８を再構成することができる（ステップ１９０）。
そのような手法で使用されるニューラルネットワーク５０に関して、そのようなニューラルネットワークは、ニューラルネットワーク５０のターゲット出力が知られている多く（例えば、数十、数百、または数千）の訓練データセットを使用して訓練することができる。ネットワーク５０が訓練された後に、ネットワークの出力が訓練に使用されなかったデータセットに対する期待を満たすかどうかを確かめるためにテストデータセットに適用することができる。
訓練データセットを定義するための１つの手法は、欠落データがないデータセット（例えばサイノグラム）（これは実際の測定データを使用して、および／またはシミュレーションによって生成することができる）から開始して、ネットワーク５０を訓練する目的で、データの一部（現在は「欠落している」と見なされている）を省略することである。したがって、「欠落した」（すなわち、削除された、または差し控えられた）データの真の値は既知である。次いで、ニューラルネットワーク５０は、その出力が除外されたデータによく似るように訓練される。ニューラルネットワークをテストするために同じ手法を使用することができる。成功すると、ニューラルネットワーク５０の出力はテストデータセット内の欠落データと厳密に一致する。したがって、訓練中、データは、投影（サイノグラム）データ内のある領域が欠落したとラベル付けされている未変更データからなり、所望の出力は、欠落データに対応する未変更サイノグラムデータからなる。このようにして訓練データは、実際の欠落データインスタンスでは利用できないであろう構造を含むことができる。
患者データなどのいくつかの場合では、「真」のデータセットが利用可能ではないかもしれず、そのようなシナリオにおける訓練は、代わりに（例えば、計算された画像品質尺度、観察者モデル、または人間の観察者を用いて）画像品質メトリクスに基づくことができる。別の場合では、「欠落データ」の制限のない患者データを訓練データとして利用することができる。例えば、股関節インプラント（存在する場合には、投影データ内に欠落データ領域をもたらす可能性がある）の場面では、インプラント前スキャン（欠落データの問題を示さない）を訓練データとして利用することができる。場合によっては、様々な撮像対象物／解剖学的構造に広く適用可能な一般的なデータ推定手法を「学ぶ」だけでなく、特定の臨床応用（すなわち、アプリケーションに固有の訓練済ニューラルネットワーク）のためにネットワークを訓練することが望ましい。股関節インプラントの例では、他の解剖学的構造に対する股関節インプラントの位置は一般によく知られており、そのような場合、この用途のために特別に訓練されたネットワークは、患者の撮像された股関節領域に特有の特徴を有する欠落データを回復するために最適化することができる。同様に、ニューラルネットワークは、特定の解剖学的領域に共通の欠落データまたはデータ破損の問題に対処するために、（特定の解剖学的場面に対して生成されるまたはそれに特有のデータセットを用いる訓練などにより）特定の解剖学的構造に向けて訓練されてもよい。特定の用途および解剖学的構造（例えば、股関節インプラント）に向けて、ニューラルネットワークを訓練する、または訓練済ニューラルネットワークを使用するなどのために、解剖学的構造および用途に特有の要因を組み合わせることができる。ニューラルネットワークはまた、例えば、欠落データまたはデータ破損状態のために生成されたデータセット、またはそれに特有のデータセットを使用した訓練などにより、欠落データまたは特定の種類のエラー（例えば、データ切り捨て、金属アーチファクトなど）に特有のデータ破損に対処するなど、特有のタスクに向けて訓練されてもよい。別のシナリオでは、患者データからの投影データをシミュレートする前に、患者画像の２次元（２Ｄ）または３Ｄ領域の一部を「滑らかな」内挿で置き換えることができる（すなわち、この領域は画像構造を含まない）。股関節インプラントの例では、インプラント自体は均一であり、それらは以前にその解剖学的位置に存在していた任意の解剖学的構造の代わりになるであろう。したがって、対応する画像構造が「取り出された」データを使用してネットワークを訓練することは、訓練に適したデータセットを表す。
前述のことを念頭において、訓練済ニューラルネットワーク５０は、データ推定を提供するために様々な方法で使用することができる。有用な実施例およびさらなる場面を提供するために、様々な実施態様および変形例が以下で説明される。
ディープラーニングを使用した欠落データ推定の実施態様について説明する前に、図１１に示すように、多くのそのような推定、特に視野内の金属または放射線不透過性対象物に関して実行される推定は、欠落データ１６２の推定の前に、サイノグラムデータの再ビンニングから利益を得ることができることに留意されたい。特に、推定ステップの前に、平行ビーム幾何学形状に対応するようにデータの再ビンニング（ステップ２３０）が実行される場合には、幾何学的意味が単純化される。このような再ビンニングは、欠落データ領域１６２がサイノグラム１６０の中心にくるようにシフトと組み合わせるか、またはシフトを伴って実行することができる。結果として、欠落データ領域１６２のトレースは直線（またはバンド）として表される。
このようにして、取得データは、欠落データ領域１６２が視野の中心にある平行ビーム取得を使用して取得されたデータを表すように再ビンニングすることができる。（再ビンニング後の）金属（または他の放射線不透過性）対象物を中央位置に配置することによって、欠落データ領域１６２がサイノグラム１６０を通る中央の直線／バンドをトレースするので、金属領域のトレースに対するパッチおよびトレースの幾何学的形状は簡単になる。
上記を念頭において、ディープラーニングベースの欠落データ推定の一例では、パッチベースの内挿は、訓練済ニューラルネットワーク５０を使用して実行することができる。
この手法では、欠落データ領域１６２内のピクセルまたは小さい領域／パッチ２００のデータは、データが利用可能である領域内のデータの隣接するパッチ２０２に基づいて推定される。データが利用可能であるパッチ２０２からのデータは、一実施態様では、欠落データ領域１６２の境界の近くで、かつ推定されるパッチ２００の近くで選択される。
この手法は図１２および図１３に示されており、これらの図は金属アーチファクト低減問題の例を示している。パッチ領域２００は、推定されているサイノグラム値またはパッチの例であり、既知の領域２０２は、これらのそれぞれの欠落データパッチ２００を推定するためにニューラルネットワーク５０への入力として使用されるデータである。同様の手法は、不良ピクセル補正または切り捨てなど、その他のタイプの欠落データにも使用することができる。
これらの例では、入力データを表すパッチ２０２は、サイノグラム内の異なる構造の正弦波トレースによりよく適合させることができる矩形形状または「くさび」形状の部分であってもよい。他のパッチ形状も同様に選択することができる。一般に、入力パッチ２０２は、推定されるパッチ２００よりも広い角度範囲を表し（すなわち、入力パッチは一般に角度方向すなわち水平方向において「より広い」）、欠落データ領域１６２に隣接する検出器上の領域を表すことに基づいて選択される。欠落データ領域１６２の片側のデータのみが所与のパッチの推定のための入力として使用される場合には、それを「片側」推定と呼ぶことができる（その例を図１２に示す）。欠落データ１６２領域の両側からのデータが使用される場合には、これを「両側」推定と呼ぶことができる（その例を図１３に示す）。
この種の手法を使用することによって、データのすべての推定パッチが欠落データ領域の一部または全体をカバーするように、欠落データの別々のパッチ２００を独立して推定することができる。データが推定されるパッチ２００は重複するように選択されてもよく、それは次に、重複領域における推定結果２００を欠落データ領域１６２におけるデータの単一の滑らかな全体的な内挿に組み合わせるために別個の平滑化／統合ステップを利用することができる。
図１４を参照すると、結果の一例が示されている。データが利用可能である隣接領域内の矩形パッチに基づく片側推定を使用して、小さい矩形パッチが独立して別々に推定される。結果として、両側からの推定値が一致する内挿されたデータには目に見える不連続性２１０がある。この問題は、重複するパッチを組み合わせる適切なステップで対処することができる。例えば、重複するパッチ間の適切に重み付けされた滑らかな遷移を使用することによって、対応する情報を滑らかな内挿された領域に組み合わせることができる。例えば、サイノグラム内の各ピクセルにおけるデータは、その位置における（すなわち、複数の推定値が存在する重複領域における）いくつかのパッチの加重平均として選択することができ、そこでは重みがパッチ間の滑らかな遷移を保証するように選択されている。あるいは、推定された重複するパッチは、別のニューラルネットワーク処理ステップ（または既存のニューラルネットワーク５０の１つまたは複数の追加の層）を使用して組み合わせることができる。
ディープラーニングベースの内挿のさらなる例では、一実施態様では、トレースベースの内挿が実行され、ここでサイノグラムトレースは、画像空間内の特定の領域に対応するサイノグラム（通常は正弦波形状）の一部であると理解される。例えば、画像空間内の金属対象物に対応する領域は、サイノグラム内の対応する正弦波トレース内にシャドーイングまたはデータ破損をもたらす。そのような一実施形態では、欠落データ領域１６２の１つまたは複数のトレース（例えば、後述するように、データの適切な再ビンニングの後の、正弦曲線または欠落データ領域を通る直線）は、図１５に概略的に示すように、データ利用可能領域内の２つ以上のトレース（例えば、線）に基づいて推定される。
一般に、入力データ２０２は、欠落データ領域に最も近いトレースに対応するように選択されるであろう。例えば、欠落データ領域に最も近いトレースは、（ここでは円形と仮定される）欠落データ領域に接する一連の光線に対応する。ネットワークは、入力データ２００を使用するときに、欠落データトレース２００内の投影データの推定値を生成するように訓練することができる。トレースはそれぞれ３６０度のデータを表すので、各トレース内のデータは周期的であり、したがって、処理のある段階でデータのフーリエ空間表現を利用することが有利であり得る。
理解することができるように、パッチベースの手法とトレースベースの手法の両方に基づくハイブリッド手法を採用することができる。限界において、両方のシナリオでは、利用可能なすべてのデータを入力として使用することができ、欠落データのすべてを出力として見なすという意味で、両方の手法は同等と見なすことができる。しかしながら、入力データまたは出力データ（あるいはその両方）の次元が大きくなりすぎると、処理および訓練は困難になりおよび／または遅くなる可能性がある。
上記の概要はディープラーニングに基づく推定手法を概説しているが、さらなる考察は、これらの手法の一部またはすべてを再帰的に実施することができるということである。例えば、再帰的推定を実行することができ、そこでは、欠落データ領域１６２の境界に近いデータのパッチまたは領域２００だけが最初に１つまたは複数の訓練済ニューラルネットワーク５０を使用して推定される。一例では、これは、既知のデータから層ごとに欠落データを推定することから構成することができる。単一の「層」が（それを１つの単一のデータベクトルとして推定することによって、またはそれのセクションを推定し、後で結合することによって）推定されると、次の層は、欠落データ領域１６２全体が埋められるまで、「既知の」データの一部として以前に推定された層を使用して推定することができる。この戦略は、パッチベースの推定およびトレースベースの推定の両方に適用可能であり得る。軸横断方向の切り捨ての例が図１６に示されており、そこではトレース２２０Ａが最初に推定される。次いで、訓練済ニューラルネットワーク５０が、トレース２００Ｂを推定するために続いて適用され、トレース２００Ａは、もはや欠落していないので入力データの一部になることができ、トレース２００Ｃ、２００Ｄに関しても同様である。
前述の例は、欠落したサイノグラムデータを推定するために使用される単一の（すなわち、空間的に不変な）訓練済ニューラルネットワーク５０の使用を示唆しているが、実際には、特定の場合にサイノグラムに存在するパターンまたは空間的配置に合わせて訓練された異なるディープラーニングネットワーク（すなわち、空間的に異なるディープラーニングネットワーク）を使用することができることにも留意されたい。例として、欠落データの場所（すなわちネットワークの出力）および利用可能なデータ（すなわちネットワークへの入力）に応じて、異なる訓練を受けたディープラーニングネットワークは、異なる空間的状況（例えば、異なる構造および／または異なるパラメータ）に対して適切であり得る。例えば、再ビンニングが行われていないファンビームまたはコーンビームサイノグラムの場合には、図１７に示すように、サイノグラム空間内の異なる位置は異なる幾何学的特性を有しており、既知の領域２０２Ａ、２０２Ｂ、２０２Ｃは、未知のパッチ２００の両側内挿に使用されるサイノグラムの異なる幾何学的領域に対応する。領域間の幾何学的な違いのために、これらの異なる領域２０２Ａ、２０２Ｂ、２０２Ｃに対して異なる訓練を受けたディープラーニングネットワークを使用することができる。同様に、図１８に示すように、異なる訓練を受けたディープラーニングネットワークが望ましい状況の別の例は、推定されるパッチ２００の距離および／または位置が入力２０２Ｄ、２０２Ｅ、２０２Ｆとして使用される既知の領域に関して変化する場合である。すなわち、ディープラーニングニューラルネットワーク５０は、欠落データの領域に関する空間的位置に基づいて、および／または入力データ２０２に対する推定パッチ２００の相対位置、距離、および／または向きに基づいて、訓練または特殊化することができるので、推定される欠落データの特定の状況に基づいて、異なるディープラーニングネットワークを使用することができる。
本発明の技術的効果は、訓練済ニューラルネットワークを使用して様々なタイプの欠落した投影（または他の未再構築の）データを推定することを含む。ニューラルネットワークは投影または他のデータを使用して訓練することができ、データの一部は推定されるべき欠落データとして定義され、残りのデータはネットワークへの入力として使用することができる利用可能なデータである。同様に、本手法はまた、（欠落した投影データを推定するのとは対照的に）破損したまたは誤った投影データを置換または修正するために使用されてもよい。例えば、より一般的なデータエラー（ビーム硬化、散乱、ノイズなどによる）は、訓練済ニューラルネットワークおよび本明細書で一般的に説明される方法論を使用してこの手法によって対処することができる。そのような場合、欠落した投影データを推定する代わりに、不正確なデータを補正するために採用することができる１つまたは複数の補正項が推定することができる。この場合、破損したデータ自体がネットワークへの追加の入力として機能することができる。
本明細書は、最良の形態を含む実施例を使用して本発明を開示し、また、任意の装置またはシステムの製造および使用と、取り入れた任意の方法の実行とを含む本発明の実施が、当業者に可能となるようにしている。本発明の特許可能な範囲は特許請求の範囲によって定義され、かつ当業者が想到する他の実施例を含むことができる。そのような他の実施例は、それらが特許請求の範囲の文言から相違しない構造要素を有する場合、または特許請求の範囲の文言から実質的には相違しない同等の構造要素を含む場合、特許請求の範囲の技術的範囲に包含される。
５０ ニューラルネットワーク
５１ 入力データ
５２ 入力層
５６ ニューロン
５８Ａ 隠れ層
５８Ｂ 隠れ層
５８Ｃ 隠れ層
６０ 出力層、出力データ、出力
６２ 損失または誤差関数、損失関数
６４ 訓練ターゲット、ターゲット投影データ値
１１０ 撮像システム、ＣＴシステム
１１２ Ｘ線源、Ｘ線放射源
１１４ コリメータ
１１６ Ｘ線、Ｘ線ビーム
１１８ 患者／対象物、患者
１２０ Ｘ線放射、入射Ｘ線
１２２ 検出器
１２４ システムコントローラ
１２６ Ｘ線コントローラ
１２８ データ取得システム
１３０ 処理コンポーネント、プロセッサ
１３２ 回転サブシステム
１３４ 線形位置決めサブシステム
１３６ モータコントローラ
１３８ メモリ
１４０ オペレータワークステーション
１４２ ディスプレイ
１４４ プリンタ
１４６ 医用画像保管通信システム（ＰＡＣＳ）
１４８ 遠隔クライアント
１６０ サイノグラム
１６２ 欠落データ領域、欠落データ、バンド
１６４ 切り捨てられたＣＴビューまたは投影
１６６ 対応する完全なＣＴビューまたは投影
１７０ 隣接する領域
１７２ 出力
１８０ 再構成画像
１８２ 再構成画像
１８４ 不完全サイノグラム
１８６ ステップ
１８８ 完全なまたは補正されたサイノグラム
１９０ ステップ
１９２ 再構成画像
２００ パッチ、推定パッチ、パッチ領域、入力データ、欠落データトレース、パッチまたは領域、推定結果
２００Ａ トレース
２００Ｂ トレース
２００Ｃ トレース
２００Ｄ トレース
２０２ パッチ、領域、入力パッチ、入力データ
２０２Ａ 領域
２０２Ｂ 領域
２０２Ｃ 領域
２０２Ｄ 入力
２０２Ｅ 入力
２０２Ｆ 入力
２１０ 不連続性
２２０Ａ トレース
２３０ ステップ

Claims (30)

  1. 断層撮影再構成に使用するための欠落データ（１６２）を推定する方法であって、
    スキャンデータセットを取得またはアクセスするステップであって、前記スキャンデータセットは、不完全または不適切なデータの１つまたは複数の領域を有する、ステップと、
    １つまたは複数の訓練済ニューラルネットワーク（５０）を使用して前記スキャンデータセットを処理するステップと、
    前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して、不完全または不適切なデータの各領域について推定データセットを生成するステップ（１８６）であって、前記推定データセットと組み合わされた前記スキャンデータセットは、補正されたスキャンデータセットに対応する、ステップ（１８６）と、
    １つまたは複数の再構成画像（１８０）を生成するために、前記補正されたスキャンデータセットの断層撮影再構成を実行するステップ（１９０）と、
    を含む方法。
  2. 前記スキャンデータセットは、１つまたは複数のサイノグラム（１６０）を含む、請求項１に記載の方法。
  3. 前記不完全または不適切なデータの領域は、金属または高密度の対象物によって隠された領域を含む、請求項１に記載の方法。
  4. 前記不完全または不適切なデータの領域は、縦方向または軸横断方向の切り捨てによる欠落データ（１６２）を含む、請求項１に記載の方法。
  5. 前記不完全または不適切なデータの領域は、欠落または破損した検出器セルによる欠落データ（１６２）を含む、請求項１に記載の方法。
  6. 前記スキャンデータセットは、コンピュータ断層撮影（ＣＴ）スキャンデータ、陽電子放出断層撮影（ＰＥＴ）スキャンデータ、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャンデータ、または磁気共鳴撮像（ＭＲＩ）スキャンデータを含む、請求項１に記載の方法。
  7. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、前記スキャンデータセットからの適切なデータの１つまたは複数の領域を使用して、片側パッチベースの内挿、両側パッチベースの内挿、またはトレースベースの内挿のうちの１つまたは複数を実行して、前記推定データセットを生成する、請求項１に記載の方法。
  8. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して前記スキャンデータセットを処理する前に、前記スキャンデータセットに対して再ビンニング操作を実行するステップをさらに含む、請求項１に記載の方法。
  9. 前記補正されたスキャンデータセットを形成するステップの一部として、前記推定データセットおよび前記スキャンデータセットに対して平滑化操作を実行するステップをさらに含む、請求項１に記載の方法。
  10. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して前記スキャンデータセットを処理するステップは、１つの処理ステップの推定データセットが後続の処理ステップで前記入力の一部を含むように前記スキャンデータセットを再帰的に処理するステップを含む、請求項１に記載の方法。
  11. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、空間的に不変ではない少なくとも２つの訓練済ニューラルネットワーク（５０）を含む、請求項１に記載の方法。
  12. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、訓練のための前記不完全または不適切なデータの領域の幾何学的形状に基づいて変化する複数の訓練済ニューラルネットワーク（５０）を含む、請求項１に記載の方法。
  13. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、訓練されて出力する推定データのパッチの距離または位置に基づいて変化する複数の訓練済ニューラルネットワーク（５０）を含む、請求項１に記載の方法。
  14. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、残留画像データまたは他の処理済もしくはフィルタリング済画像データを推定する、請求項１に記載の方法。
  15. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、特定用途向けであり、特定の患者の状態に基づいて前記推定データを生成するように訓練されている、請求項１に記載の方法。
  16. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、解剖学的構造に固有であり、特定の撮像された解剖学的構造に基づいて前記推定データを生成するように訓練されている、請求項１に記載の方法。
  17. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、タスクに固有であり、特定の破損または省略の状況に対して前記推定データを生成するように訓練されている、請求項１に記載の方法。
  18. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は多層畳み込みネットワークを含む、請求項１に記載の方法。
  19. それぞれの推定データセットは、単一投影データ番号、投影データパッチ、または投影データのトレースのうちの１つを含む、請求項１記載の方法。
  20. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して処理する前に、前記スキャンデータセットに対して前処理ステップを実行するステップと、
    前記推定データセットに対して前記前処理ステップの逆である後処理ステップを実行するステップと、
    をさらに含む、請求項１に記載の方法。
  21. 前記前処理ステップはハイパスフィルタ操作を含み、前記後処理ステップは、前記ハイパスフィルタ操作とは逆のローパスフィルタリング操作を含む、請求項２０に記載の方法。
  22. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して処理する前に、再投影されたサイノグラム（１６０）を分割または減算することによって前記スキャンデータセットに対して正規化ステップを実行するステップと、
    前記再投影されたサイノグラム（１６０）を加算または乗算することによって前記正規化ステップを逆にするステップと、
    をさらに含む、請求項１に記載の方法。
  23. 前記スキャンデータセットに加えて、前記１つまたは複数の訓練済ニューラルネットワーク（５０）に重みデータを提供するステップをさらに含み、前記重みデータは、前記スキャンデータセットの信頼度または信頼性の尺度に対応する、請求項１に記載の方法。
  24. 前記重みデータは、前記スキャンデータセット内の各対応する要素に対する重み要素を含み、より高い重みは、より高い信頼度に対応する、請求項２３に記載の方法。
  25. 画像処理システムであって、
    １つまたは複数の格納されたプロセッサ実行可能ルーチンを実行するように構成された処理コンポーネント（１３０）と、
    前記１つまたは複数の実行可能ルーチンを格納するメモリ（１３８）と、を含み、前記１つまたは複数の実行可能ルーチンは、前記処理コンポーネント（１３０）によって実行された場合に、動作を実行させ、前記動作は、
    スキャンデータセットを取得またはアクセスするステップであって、前記スキャンデータセットは、不完全または不適切なデータの１つまたは複数の領域を有する、ステップと、
    １つまたは複数の訓練済ニューラルネットワーク（５０）を使用して前記スキャンデータセットを処理するステップと、
    前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して、不完全または不適切なデータの各領域について推定データセットを生成するステップであって、前記推定データセットと組み合わされた前記スキャンデータセットは、補正されたスキャンデータセットに対応する、ステップと、
    １つまたは複数の再構成画像（１８０）を生成するために、前記補正されたスキャンデータセットの断層撮影再構成を実行するステップと、
    を含む、画像処理システム。
  26. 前記スキャンデータセットは、コンピュータ断層撮影（ＣＴ）スキャンデータ、陽電子放出断層撮影（ＰＥＴ）スキャンデータ、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャンデータ、または磁気共鳴撮像（ＭＲＩ）スキャンデータを含む、請求項２５に記載の画像処理システム。
  27. 前記１つまたは複数の訓練済ニューラルネットワーク（５０）は、前記スキャンデータセットからの適切なデータの１つまたは複数の領域を使用して、片側パッチベースの内挿、両側パッチベースの内挿、またはトレースベースの内挿のうちの１つまたは複数を実行して、前記推定データセットを生成する、請求項２５に記載の画像処理システム。
  28. 前記１つまたは複数の実行可能ルーチンは、前記処理コンポーネント（１３０）によって実行された場合に、
    前記１つまたは複数の訓練済ニューラルネットワーク（５０）を使用して前記スキャンデータセットを処理する前に、前記スキャンデータセットに対して再ビンニング操作を実行するステップを含む動作をさらに実行させる、請求項２５に記載の画像処理システム。
  29. ニューラルネットワーク訓練方法であって、
    複数の完全スキャンデータセットを取得またはアクセスするステップであって、前記完全スキャンデータセットは測定またはシミュレートされている、ステップと、
    各完全スキャンデータセット内の１つまたは複数の領域をターゲット出力領域としてマーキングするステップであって、ターゲット出力領域としてマーキングされていない各完全スキャンデータセットの１つまたは複数の領域は既知の領域として利用可能である、ステップと、
    各完全スキャンデータセットについて、前記既知の領域に対する前記スキャンデータと、前記ターゲット出力領域に対する対応するスキャンデータと、をニューラルネットワークに提供することによって、前記ニューラルネットワークを訓練して訓練済ニューラルネットワーク（５０）を生成するステップと、
    を含むニューラルネットワーク訓練方法。
  30. ニューラルネットワーク訓練方法であって、
    複数のスキャンデータセットを取得またはアクセスするステップと、
    各スキャンデータセットの１つまたは複数のターゲット領域ならびに各スキャンデータセットの１つまたは複数の入力領域について、１つまたは複数の画像品質メトリクスを生成または取得するステップと、
    前記スキャンデータセット、各スキャンデータセットの前記ターゲット領域の前記画像品質メトリクス、および各スキャンデータセットの前記入力領域の前記画像品質メトリクスをニューラルネットワークに提供することによって、前記ニューラルネットワークを訓練して訓練済ニューラルネットワーク（５０）を生成するステップと、
    を含むニューラルネットワーク訓練方法。
JP2019536278A 2017-01-05 2017-01-05 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 Active JP7202302B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/070283 WO2018126396A1 (en) 2017-01-05 2017-01-05 Deep learning based estimation of data for use in tomographic reconstruction

Publications (2)

Publication Number Publication Date
JP2020506742A true JP2020506742A (ja) 2020-03-05
JP7202302B2 JP7202302B2 (ja) 2023-01-11

Family

ID=62788922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019536278A Active JP7202302B2 (ja) 2017-01-05 2017-01-05 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定

Country Status (6)

Country Link
US (1) US11039805B2 (ja)
EP (1) EP3566207A4 (ja)
JP (1) JP7202302B2 (ja)
KR (1) KR102260802B1 (ja)
CN (1) CN110337673B (ja)
WO (1) WO2018126396A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021010623A (ja) * 2019-07-08 2021-02-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔシステム及び医用処理装置
DE102022107290A1 (de) 2021-03-30 2022-10-06 Fujifilm Corporation Bildverarbeitungsgerät, lernvorrichtung, röntgensystem, bildverarbeitungsverfahren, lernverfahren, bildverarbeitungsprogramm und lernprogramm
DE102022107325A1 (de) 2021-03-30 2022-10-06 Fujifilm Corporation Bildverarbeitungsgerät, lernvorrichtung, röntgensystem, bildverarbeitungsverfahren, lernverfahren, bildverarbeitungsprogramm und lernprogramm

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7202302B2 (ja) 2017-01-05 2023-01-11 ゼネラル・エレクトリック・カンパニイ 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定
EP3384848B1 (de) * 2017-04-04 2021-06-23 Siemens Healthcare GmbH Flexibler einsatz eines klinischen entscheidungsunterstützungssystems
EP3638115A4 (en) * 2017-06-16 2021-03-10 Rensselaer Polytechnic Institute SYSTEMS AND METHODS FOR INTEGRATING TOMOGRAPHIC IMAGE RECONSTRUCTION AND RADIOMICS USING NEURAL NETWORKS
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US11250600B2 (en) * 2018-01-12 2022-02-15 Korea Advanced Institute Of Science And Technology Method for processing X-ray computed tomography image using neural network and apparatus therefor
US11589834B2 (en) * 2018-03-07 2023-02-28 Rensselaer Polytechnic Institute Deep neural network for CT metal artifact reduction
EP3547254A1 (de) * 2018-03-29 2019-10-02 Siemens Healthcare GmbH Analyse-verfahren und analyseeinheit zur ermittlung radiologischer ergebnisdaten
KR102039472B1 (ko) * 2018-05-14 2019-11-01 연세대학교 산학협력단 컴퓨터 단층촬영 영상 재구성 장치 및 방법
JP7118798B2 (ja) * 2018-08-06 2022-08-16 キヤノンメディカルシステムズ株式会社 Ｘ線コンピュータ断層撮影装置
EP3629294A1 (en) * 2018-09-27 2020-04-01 Siemens Healthcare GmbH Method of providing a training dataset
US11475991B2 (en) 2018-09-28 2022-10-18 Varian Medical Systems International Ag Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
US10984902B2 (en) 2018-09-28 2021-04-20 Varian Medical Systems International Ag Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
US11039806B2 (en) 2018-12-20 2021-06-22 Canon Medical Systems Corporation Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data
US10945695B2 (en) 2018-12-21 2021-03-16 Canon Medical Systems Corporation Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning
US11013936B2 (en) 2018-12-21 2021-05-25 Varian Medical Systems International Ag Methods and systems for generating dose estimation models for radiotherapy treatment planning
EP3671647B1 (en) * 2018-12-21 2024-01-17 Canon Medical Systems Corporation X-ray computed tomography (ct) system and method
CN109767397B (zh) 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
JP7271209B2 (ja) * 2019-02-06 2023-05-11 キヤノン株式会社 放射線撮像装置、放射線撮像システムおよび放射線撮像装置の制御方法
JP2020130498A (ja) * 2019-02-18 2020-08-31 学校法人順天堂 Ｍｒｉを利用してｃｓｆ抑制画像を合成するための画像処理装置、プログラムおよび画像処理方法
JP7233972B2 (ja) * 2019-03-04 2023-03-07 キヤノンメディカルシステムズ株式会社 Ｘ線診断システム
US11026642B2 (en) 2019-03-29 2021-06-08 Canon Medical Systems Corporation Apparatuses and a method for artifact reduction in medical images using a neural network
CN110021069B (zh) * 2019-04-15 2022-04-15 武汉大学 一种基于网格形变的三维模型重建方法
EP3725229A1 (en) * 2019-04-18 2020-10-21 DENTSPLY SIRONA Inc. Method of metal artefact reduction in x-ray dental volume tomography
EP3959530A2 (en) * 2019-04-25 2022-03-02 Insightec Ltd. Accelerated magnetic resonance thermometry
CN111915495A (zh) * 2019-05-08 2020-11-10 通用电气精准医疗有限责任公司 获取截断部分预测图像的方法及装置
CN111915692A (zh) * 2019-05-08 2020-11-10 通用电气精准医疗有限责任公司 成像方法及装置
CN110176047B (zh) * 2019-06-03 2022-12-06 上海联影医疗科技股份有限公司 一种提高ct图像质量的方法和系统
US11100684B2 (en) * 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
JP7245740B2 (ja) * 2019-07-25 2023-03-24 富士フイルムヘルスケア株式会社 画像処理装置、画像処理方法及びｘ線ｃｔ装置
US11455755B2 (en) * 2019-09-05 2022-09-27 Siemens Medical Solutions Usa, Inc. Methods and apparatus for neural network based image reconstruction
KR102346517B1 (ko) * 2019-12-31 2022-01-03 (주)아인스에스엔씨 고스트 모델을 이용한 일시적 미수신 데이터에 대한 복구 및 가시화 장치
CN111190226B (zh) * 2020-02-18 2022-03-25 中国石油大学(华东) 一种三维地震数据面波噪声压制方法
CN111429545A (zh) * 2020-03-24 2020-07-17 浙江明峰智能医疗科技有限公司 一种基于深度学习的pet不完整数据的重建方法和系统
US20210319539A1 (en) * 2020-04-13 2021-10-14 GE Precision Healthcare LLC Systems and methods for background aware reconstruction using deep learning
TWI791979B (zh) * 2020-04-28 2023-02-11 長庚醫療財團法人林口長庚紀念醫院 三維醫學影像的建立方法
US20210342991A1 (en) * 2020-04-29 2021-11-04 University Of Southern California Ml-enabled assured microelectronics manufacturing: a technique to mitigate hardware trojan detection
CN111544022B (zh) * 2020-05-13 2023-11-28 上海联影医疗科技股份有限公司 一种pet衰减校正方法、装置和计算机设备
CN112509089B (zh) * 2020-11-26 2024-03-15 中国人民解放军战略支援部队信息工程大学 基于截断数据外推网络的ct局部重建方法
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
US11823354B2 (en) * 2021-04-08 2023-11-21 GE Precision Healthcare LLC System and method for utilizing a deep learning network to correct for a bad pixel in a computed tomography detector
KR20230053810A (ko) * 2021-10-15 2023-04-24 가천대학교 산학협력단 투영기반의 의료영상 재구성 시스템
CN117201691B (zh) * 2023-11-02 2024-01-09 湘江实验室 一种基于深度学习的全景扫描关联成像方法
CN117808718B (zh) * 2024-02-29 2024-05-24 江西科技学院 基于互联网的提升医学影像数据质量的方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179843A (ja) * 1995-11-22 1997-07-11 Arch Dev Corp 乳房ｘ線画像における群生した微小石灰質化部のコンピュータ検出のためのシフト不変人工ニューラルネットワーク
JP2007201572A (ja) * 2006-01-24 2007-08-09 Sony Corp 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム
JP2007296352A (ja) * 2006-04-28 2007-11-15 Toshiba Corp サイノグラムを完成するための方法、装置、記憶媒体及びプログラム
JP2013003892A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
WO2015148616A1 (en) * 2014-03-28 2015-10-01 Heartflow, Inc. Systems and methods for data and model-driven image reconstruction and enhancement
WO2016002099A1 (ja) * 2014-07-04 2016-01-07 三菱電機株式会社 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
WO2016017534A1 (ja) * 2014-07-28 2016-02-04 株式会社日立メディコ Ｘ線撮像装置および画像再構成方法
WO2016158138A1 (ja) * 2015-04-01 2016-10-06 株式会社日立製作所 Ｘ線ｃｔ装置、再構成演算装置およびｘ線ｃｔ画像生成方法
US20160324499A1 (en) * 2015-05-07 2016-11-10 General Electric Company Methods and systems for metal artifact reduction in spectral ct imaging

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1021128A1 (en) * 1997-10-10 2000-07-26 Analogic Corporation Computed tomography scanning target detection
DE10241691A1 (de) * 2002-09-09 2004-03-25 Infineon Technologies Ag Einrichtung und Verfahren zur Durchführung von Korrelationen in einem Mobilfunksystem
US6950492B2 (en) * 2003-06-25 2005-09-27 Besson Guy M Dynamic multi-spectral X-ray projection imaging
US6944260B2 (en) * 2003-11-11 2005-09-13 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for artifact reduction in computed tomography imaging systems
US7215734B2 (en) * 2004-06-30 2007-05-08 General Electric Company Method and system for three-dimensional reconstruction of images
RU2427037C2 (ru) * 2005-10-05 2011-08-20 Конинклейке Филипс Электроникс Н.В. Способ и система для реконструкции рет-изображения с использованием суррогатного изображения
JP2010504129A (ja) 2006-09-22 2010-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 肺結節の高度コンピュータ支援診断
EP2102819B1 (en) * 2007-01-04 2014-04-02 Koninklijke Philips N.V. Apparatus, method and computer program for producing a corrected image of a region of interest from acquired projection data
EP2189115A4 (en) * 2007-08-15 2010-08-18 Univ Kyoto X-RAY TOMODENSITOMETRY APPARATUS, AND METHOD THEREOF
CN102376097A (zh) * 2010-08-25 2012-03-14 东软飞利浦医疗设备系统有限责任公司 非对称检测器ct迭代重建方法
CN103339657B (zh) * 2011-02-01 2016-08-31 皇家飞利浦有限公司 用于双能量ct图像重建的方法和系统
CN102727230B (zh) * 2011-04-02 2014-06-04 沈阳东软医疗系统有限公司 Ct扫描图像重建方法及装置
US9659390B2 (en) * 2011-10-28 2017-05-23 Carestream Health, Inc. Tomosynthesis reconstruction with rib suppression
CN104244830B (zh) * 2012-03-29 2017-11-14 皇家飞利浦有限公司 使用形状感测的伪影去除
CN103356223B (zh) * 2012-04-01 2015-07-08 中国科学院高能物理研究所 用于人体医学检测的 ct 成像系统及方法
US8976190B1 (en) * 2013-03-15 2015-03-10 Pme Ip Australia Pty Ltd Method and system for rule based display of sets of images
US9495770B2 (en) * 2013-08-14 2016-11-15 University Of Utah Research Foundation Practical model based CT construction
CN103646410B (zh) * 2013-11-27 2016-06-08 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN103927531B (zh) * 2014-05-13 2017-04-05 江苏科技大学 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法
CN104323789B (zh) * 2014-09-25 2017-08-25 沈阳东软医疗系统有限公司 一种ct扫描图像重建方法及ct扫描仪
DE102015226400A1 (de) * 2015-12-22 2017-06-22 Siemens Healthcare Gmbh Automatisierte Ermittlung von Konturen auf Basis einer iterativen Rekonstruktion
US20170362585A1 (en) * 2016-06-15 2017-12-21 Rensselaer Polytechnic Institute Methods and apparatus for x-genetics
US10970887B2 (en) * 2016-06-24 2021-04-06 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN106296653B (zh) * 2016-07-25 2019-02-01 浙江大学 基于半监督学习的脑部ct图像出血区域分割方法及系统
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
CN106251383B (zh) * 2016-08-31 2018-11-27 东北大学 一种能谱ct基物质正弦图的估计方法
JP7202302B2 (ja) 2017-01-05 2023-01-11 ゼネラル・エレクトリック・カンパニイ 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179843A (ja) * 1995-11-22 1997-07-11 Arch Dev Corp 乳房ｘ線画像における群生した微小石灰質化部のコンピュータ検出のためのシフト不変人工ニューラルネットワーク
JP2007201572A (ja) * 2006-01-24 2007-08-09 Sony Corp 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム
JP2007296352A (ja) * 2006-04-28 2007-11-15 Toshiba Corp サイノグラムを完成するための方法、装置、記憶媒体及びプログラム
JP2013003892A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
WO2015148616A1 (en) * 2014-03-28 2015-10-01 Heartflow, Inc. Systems and methods for data and model-driven image reconstruction and enhancement
WO2016002099A1 (ja) * 2014-07-04 2016-01-07 三菱電機株式会社 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
WO2016017534A1 (ja) * 2014-07-28 2016-02-04 株式会社日立メディコ Ｘ線撮像装置および画像再構成方法
WO2016158138A1 (ja) * 2015-04-01 2016-10-06 株式会社日立製作所 Ｘ線ｃｔ装置、再構成演算装置およびｘ線ｃｔ画像生成方法
US20160324499A1 (en) * 2015-05-07 2016-11-10 General Electric Company Methods and systems for metal artifact reduction in spectral ct imaging

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021010623A (ja) * 2019-07-08 2021-02-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔシステム及び医用処理装置
JP7362322B2 (ja) 2019-07-08 2023-10-17 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔシステム及び医用処理装置
DE102022107290A1 (de) 2021-03-30 2022-10-06 Fujifilm Corporation Bildverarbeitungsgerät, lernvorrichtung, röntgensystem, bildverarbeitungsverfahren, lernverfahren, bildverarbeitungsprogramm und lernprogramm
DE102022107325A1 (de) 2021-03-30 2022-10-06 Fujifilm Corporation Bildverarbeitungsgerät, lernvorrichtung, röntgensystem, bildverarbeitungsverfahren, lernverfahren, bildverarbeitungsprogramm und lernprogramm

Also Published As

Publication number Publication date
CN110337673B (zh) 2023-10-20
CN110337673A (zh) 2019-10-15
KR20190103227A (ko) 2019-09-04
EP3566207A1 (en) 2019-11-13
US20190328348A1 (en) 2019-10-31
US11039805B2 (en) 2021-06-22
JP7202302B2 (ja) 2023-01-11
EP3566207A4 (en) 2020-08-12
KR102260802B1 (ko) 2021-06-07
WO2018126396A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP7202302B2 (ja) 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定
CN110807737B (zh) 迭代图像重建框架
CN110462689B (zh) 基于深度学习的断层摄影重建
CN111492406B (zh) 训练机器学习算法的方法、图像处理系统和图像重建方法
Sun et al. An iterative projection‐based motion estimation and compensation scheme for head x‐ray CT
US10628973B2 (en) Hierarchical tomographic reconstruction
US20170340287A1 (en) Method And Apparatus For Motion Correction In CT Imaging
JP7434402B2 (ja) 深層学習ネットワークを用いて計算機式断層写真法検出器の不良ピクセルを補正するシステム及び方法
US10970885B2 (en) Iterative image reconstruction
Zhang et al. Super‐resolution reconstruction for 4D computed tomography of the lung via the projections onto convex sets approach
US20240104802A1 (en) Medical image processing method and apparatus and medical device
Freitas et al. The formation of computed tomography images from compressed sampled one-dimensional reconstructions
Sha et al. Removing ring artifacts in CBCT images via Transformer with unidirectional vertical gradient loss

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211129

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211130

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220128

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220202

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220406

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221102

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221130

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7202302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150