JP2022547463A - コーンビームctにおけるニューラルネットワークに基づく限定角度アーチファクト軽減のための信頼度マップ - Google Patents
コーンビームctにおけるニューラルネットワークに基づく限定角度アーチファクト軽減のための信頼度マップ Download PDFInfo
- Publication number
- JP2022547463A JP2022547463A JP2022514221A JP2022514221A JP2022547463A JP 2022547463 A JP2022547463 A JP 2022547463A JP 2022514221 A JP2022514221 A JP 2022514221A JP 2022514221 A JP2022514221 A JP 2022514221A JP 2022547463 A JP2022547463 A JP 2022547463A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- image processing
- processing system
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title description 6
- 230000000116 mitigating effect Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000012800 visualization Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 101100345726 Medicago sativa MMK1 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000002546 full scan Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009026 tissue transition Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/436—Limited angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Abstract
画像処理システムIPSは、撮像装置IAによって異なる投影方向に沿って限定角度スキャンで収集された投影データπに基づいて入力画像IMを受け取る入力インタフェースINを有する。方向アナライザDAは、入力画像の境界領域に対する方向成分を計算する。方向判別器DDは、境界領域の方向成分が投影方向の少なくとも1つに沿っているか否かに基づいて境界領域を判別する。
Description
本発明は、画像処理システム、画像処理方法、撮像装置、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
Cアーム撮像システムは、術中X線撮像に使用される。特に、例えば整形外科的介入において使用されるようなモバイルCアームシステムは、介入中の容易な取扱いのために、スリムな設計及び小さい設置面積を有するべきである。これらの設計上の制約は、システムのデータ取得能力に関する妥協につながる。例えば、例えばCアームの回転の角度範囲は、180°未満の設定に対するものである。
回転の角度範囲が180°(+扇形角度)未満である場合、CTのような取得は、不完全な軌道でのみ可能である。角度方向の不完全性は、画像再構成において、いわゆる限定角度アーチファクトをもたらし、これは画質に深刻な影響を及ぼす。
したがって、特に限定角度の断層撮影をサポートするシステムが、必要とされ得る。
本発明の目的は、独立請求項の主題によって解決され、更なる実施形態が、従属請求項に組み込まれる。以下に説明する本発明の態様は、画像処理方法、撮像装置、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく適用されることに留意されたい。
本発明の第1の態様によれば、画像処理システム(IPS)が、提供され、画像処理システムは、
撮像装置によって異なる投影方向に沿った限定角度スキャンで収集された投影データに基づいて入力画像を受け取るように構成された入力インタフェースと、
入力画像内のボクセルの少なくとも一部に対する方向成分を計算し、入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するように構成された方向アナライザと、
各考慮されるボクセルについて、その計算された方向成分が投影方向の少なくとも1つに沿っているか否かをチェックし、それによって境界領域を判別するように構成された方向判別器と、
判別された境界領域に基づいて信頼度マップを構築するように構成された寝台信頼度マップコンストラクタと、
を有する。
入力画像内のボクセルの少なくとも一部に対する方向成分を計算し、入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するように構成された方向アナライザと、
各考慮されるボクセルについて、その計算された方向成分が投影方向の少なくとも1つに沿っているか否かをチェックし、それによって境界領域を判別するように構成された方向判別器と、
判別された境界領域に基づいて信頼度マップを構築するように構成された寝台信頼度マップコンストラクタと、
を有する。
好ましい実施形態では、画像処理システムは、信頼度マップを表示装置に表示させるように構成された視覚化装置を有する。
実施形態では、信頼度マップが、入力画像と共に表示される。
実施形態では、入力画像が、投影データからの再構成に基づいて推定器によって前もって計算される。
実施形態では、推定器は、ニューラルネットワークアーキテクチャなどの機械学習アルゴリズムによって実装される。
信頼度マップは、判別された境界領域を(例えば、視覚的に)判別することを可能にするように、例えば、色又はグレー値符号化によって構築される。
一例では、信頼度マップは、信頼性の低い画像内の部分をマークし、すなわち、これらの部分は、解剖学的構造の関連部分がそれぞれの境界又は境界部分に沿った、又は少なくとも接線方向の投影方向においてシステムによって「見られ」ていないかもしれないため、誤って推定されたかもしれない。これらの境界部分の再構成は、誤りを起こしやすく、したがって、再構成された画像は、組織遷移を含むがこれに限定されない特定の特徴を不正確に表すかもしれない。
実施形態では、限定角度スキャンは、収集された投影データの投影方向の角度範囲を規定し、視覚化装置は、表示装置上に表示するために、前記範囲又は前記範囲の補完物(complement)を示す視覚的インジケータを生成するように構成される。
別の態様では、角度範囲の視覚的インジケータを表示装置上に表示するように構成された視覚化装置を有する画像処理システムが、提供され、前記角度範囲は、X線撮像装置によって限定角度スキャンで収集された投影データの異なる投影方向の範囲である、又は前記範囲の補完物である。
実施形態では、入力画像は、視覚的インジケータと共に表示装置上に表示され、入力画像は、観察方向に対応し、視覚的インジケータは、観察方向に基づいて構成される。
方向インジケータは、ある境界(「エッジ」)が軟組織のタイプ間の境界のような適切なコントラストにおいて画像内に記録されないので、方向アナライザの上述の方向分析が実行されることができない場合に有利である。
加えて、方向インジケータは、解剖学的構造のどの境界が、すべて限定角度スキャンにおける欠けている投影のために外挿されなかったので、欠けているかを示す。
加えて、方向インジケータは、解剖学的構造のどの境界が、すべて限定角度スキャンにおける欠けている投影のために外挿されなかったので、欠けているかを示す。
方向インジケータは、好ましくは、信頼度マップと併せて使用されるが、各々は、実施形態の他のものなしで使用されてもよい。
別の態様では、上述の実施形態のいずれか1つによる装置及び画像処理システムを含むX線撮像装置が、提供される。
別の態様では、画像処理方法が、提供され、
撮像装置によって異なる投影方向に沿って限定角度スキャンで収集された投影データに基づいて入力画像を受信するステップと、
入力画像内のボクセルの少なくとも一部について方向成分を計算し、入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するステップと、
各考慮されるボクセルについて、その計算された方向成分が投影方向のうちの少なくとも1つに沿っているかどうかをチェックすることによって境界領域を判別するステップと、
判別された境界領域に基づいて信頼度マップを構築するステップと、
を有する。
撮像装置によって異なる投影方向に沿って限定角度スキャンで収集された投影データに基づいて入力画像を受信するステップと、
入力画像内のボクセルの少なくとも一部について方向成分を計算し、入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するステップと、
各考慮されるボクセルについて、その計算された方向成分が投影方向のうちの少なくとも1つに沿っているかどうかをチェックすることによって境界領域を判別するステップと、
判別された境界領域に基づいて信頼度マップを構築するステップと、
を有する。
実施形態では、画像処理方法は、
角度範囲の視覚的インジケータを表示装置に表示するステップであって、前記角度範囲は、X線撮像装置による限定角度スキャンで収集された投影データの異なる投影方向の範囲である、又は前記範囲の補完物である、ステップ、
を有する。
角度範囲の視覚的インジケータを表示装置に表示するステップであって、前記角度範囲は、X線撮像装置による限定角度スキャンで収集された投影データの異なる投影方向の範囲である、又は前記範囲の補完物である、ステップ、
を有する。
別の態様では、少なくとも1つの処理ユニットによって実行される場合に、上記の実施形態のいずれか1つによる方法を処理ユニットに実行させるように構成されたコンピュータプログラム要素が、提供される。
更に別の態様では、プログラム要素を格納したコンピュータ可読媒体が、提供される。
定義
「ユーザ」は、撮像装置を操作する、又は撮像手順を監視する、医療従事者などの人に関する。換言すれば、ユーザは、一般に患者ではない。
「対象」は、本明細書では一般的な意味で、人間又は動物の患者、又はその解剖学的部分のなどの生物の「対象」を含むように使用されるが、セキュリティチェックにおける手荷物のアイテム又は非破壊テストにおける製品などの無生物の対象も含む。しかしながら、提案されたシステムは、主に医療分野を参照して本明細書で説明され、したがって、我々は、「患者」及び患者の特定の解剖学的構造又は解剖学的構造のグループである関心位置ROI「対象」を「対象」と称する。
一般に、「機械学習コンポーネント」は、タスクを実行するように構成された機械学習(「ML」)アルゴリズムを実施するコンピュータ化された構成である。MLアルゴリズムでは、タスク性能が、より多くのトレーニングデータを装置に提供した後に、測定可能に改善する。タスクの性能は、システムにテストデータを供給するときに客観的テストによって測定されうる。タスクの性能は、所与のテストデータに対して達成されるべき特定のエラーレートに関して規定されてもよい。例えば、T. M. Mitchell, "Machine Learning", page 2, section 1.1, McGraw-Hill, 1997を参照されたい。
ここで、本発明の例示的な実施形態は、縮尺通りではない以下の図面を参照して説明される。
図1を参照すると、実施形態において本明細書で想定される撮像構成IARが示されている。
撮像構成IARは、人間又は動物の患者などの対象PATの画像を取得するように構成された撮像装置IAを含む。
撮像装置によって取得された画像、又はそこから導出可能な画像は、以下でより詳細に説明されるように、強調された画像を生成するように、コンピュータ化された画像処理システムIPSによって処理されてもよい。
強調された画像は、データベースシステムのようなメモリに記憶されてもよく、表示装置DIS上の視覚化装置VISによって視覚化されてもよく、他の形で処理されてもよい。
本明細書で想定される撮像装置IA(「イメージャ」)は、特に断層撮影タイプのものである。
このタイプの撮像では、患者PATの関心領域ROIの投影画像が、イメージャによって取得される。次いで、投影画像は、再構成器RECONによって、軸方向画像又は断面画像又は「スライス」に再構成されてもよい。軸方向画像は、達成されるべき臨床的ゴール又は目的に沿った臨床医による検査及び診断を通知するために、ROIの内部構造に関する情報を明らかにしうる。特に、コンピュータ断層撮影(CT)スキャナのようなX線ベースのイメージャ、又は手術室に移動可能に又は固定的に取り付けられたCアーム/Uアームイメージャが、本明細書で想定される。イメージャIAは、X線源XRと、X線感知検出器Dとを含む。イメージャIAは、エネルギ積分撮像、又はスペクトル、エネルギ判別、撮像に対して構成されてもよい。したがって、検出器Dは、エネルギ積分型、又は光子計数検出器などのエネルギ判別型であってもよい。
画像取得中、患者PATは、線源XRと検出器Dとの間の検査領域内に存在する。実施形態では、線源X線が、撮像軸Zの周りの回転平面内で撮像軌道OR内を移動する。撮像軸は、ROIを通過する。好ましくは、患者の長手方向軸が、撮像軸Zと整列されるが、他の構成及び幾何学的形状も、想定される。角度範囲の以下の議論は、平行ビームCT幾何構成に基づくが、発散ビーム幾何構成(すなわち、ファンビーム幾何構成)への拡張は、当業者によって容易に理解され、このような発散幾何構成は、実施形態においてここで想定される。少なくとも180°の円弧内のROIの周りの線源XRの回転を有する軌道ORは、フルスキャンを構成する。しかしながら、しばしば、時間又は空間の制約又は他のために、限定角度スキャンのみが、実行される。本明細書で主に想定される限定角度スキャンのように、スキャン軌道は、180°未満、例えば160°、140°、120°、又はそれ以下、又はそれ以上の回転角度の範囲を定める。180°未満の任意の範囲が、想定される。
本明細書の好ましい実施形態では、ビームXBの光線が発散する場合に、コーンビーム幾何構成が使用されるが、平行ビーム幾何学的ビームは、代替実施形態においてここで除外されない。
回転中、線源XRは、X線ビームXBを放射し、ROIを照射する。回転中、投影画像は、異なる方向pから検出器Dにおいて取得される。X線ビームXBは、異なる方向に沿って患者PAT、特に関心領域ROIを通過する。X線ビームは、関心領域内の物質と相互作用する。この相互作用は、ビームXBを修正させる。修正された放射線は、患者の遠端に現れ、次いで、X線感知検出器Dに衝突する。検出器内の回路は、修正された放射線を電気信号に変換する。次いで、電気信号は、増幅されるか、又は他の方法で調整されてもよく、次いでデジタル化されて、(デジタル)投影画像πが得られ、次いで、これは再構成器RECON(図1には示されていないが、図4に示されている)によって軸方向画像に再構成され得る。
再構成器RECONは、FBP、フーリエ領域ベース、ART、反復、又は他のものなどの再構成アルゴリズムを実行するコンピュータ実装モジュールである。再構成器RECONモジュールは、ハードウェア若しくはソフトウェア、又はその両方に配置されてもよい。再構成器RECONは、検出器Dの投影領域で取得された投影画像を、画像領域における軸方向又は断面画像に変換する。画像領域は、患者が撮像中に存在する検査領域内の空間の部分を占める。対照的に、投影領域は、X線検出器Dの平面内に配置される。画像領域では、再構成された画像は、軌道ORの回転平面に平行であり、撮像軸Zに垂直である断面平面内に規定される。z方向に広いコーン角度を有するX線ビームXBを使用することによって、又は撮像中に患者PATが存在する支持テーブルTBを前進させることによって、異なる断面平面内の異なる軸方向画像が、取得されることができ、これらは一緒に、3D画像ボリューム、ROIの3D画像表現を形成する。
ボリューム上及びボリュームを通る異なる空間ビューは、再フォーマットツール(図示せず)を使用することによって実現されることができる。再フォーマットツールは、Z軸以外のビュー軸に垂直な平面内のビューを計算する。Z方向に沿ったビューは、本明細書では「標準ビュー」と称されるが、これは従来のものである。ビュー軸は、ユーザによって選択されることができる。曲面上のビューは、また、再フォーマットツールによって計算されてもよい。再フォーマット後、視覚化装置VIZは、(おそらく)再フォーマットされたスライス画像を表示装置DIS上に表示させるのに使用されてもよい。
本明細書で主に想定されるように、限定角度スキャンが実行される場合、上述の「古典的な」再構成は、フルスキャンとは対照的に、限定角度(「LA」)スキャンにおける空間情報の限定的な利用可能性による限定角度アーチファクトを含む。これを軽減するために、RECONは、LAスキャンの空間情報の欠如をある程度説明するために、適切な正則化によって修正されてもよい。古典的な再構成(LA正則化を伴う又は伴わない)の代わりに又はそれに加えて、機械学習(「ML」)ベースの推定器モジュールESは、それ自体で又は古典的な再構成と併せて再構成全体を実行するように使用されることができる。推定器モジュールESは、トレーニング画像のコーパス上で事前トレーニングされた。一例では、推定器モジュールESが、事前トレーニングされた畳み込みニューラルネットワーク(CNN)を有する。
推定器ESは、再構成器RECONの下流側の第2段階の補正として使用されてもよい。ESは、再構成器RECONによる出力として再構成の第1のバージョンで動作する。この第1のバージョンの画像は、本明細書ではLAアーチファクトによって損なわれる可能性が高い中間再構成IM'と称されてもよい。推定器モジュールESは、IM'を入力として取り込み、特にLAアーチファクトを除去しようと試み、最終的な再構成IM'を出力する。
本明細書で想定される実施形態では、推定器モジュールESは、限定角度の構成から、完全な再構築のための推定値を推定するように、統計モデルに基づいて、及び/又は予めトレーニングされた機械学習コンポーネントに基づいて使用される。本明細書で使用される機械学習コンポーネントは、同じ領域の「ターゲット」として、関連付けられたフルビュー再構成と限定角度再構成との対を含むトレーニングデータによって事前トレーニングされる。
例えば、LAアーチファクトを補正するためのトレーニングデータは、180度(+扇形角度)の角度範囲にわたる画像データを取得し、前記画像データから「フルビュー」180度再構成を生成することによって生成される。次いで、取得されたデータセットの角度範囲は、例えば140度の「限定」ビュー範囲に縮小され、「限定角度」140度の再構成が、縮小された画像データセットから生成される。
次いで、推定器モジュールES内の畳み込みニューラルネットワーク(CNN)は、グランドトゥルースとしてフルビュー再構成をCNNに提供することによって、限定角度再構成内のLAアーチファクトを推定するようにトレーニングされ得る。トレーニング後、CNNは、グラウンドトゥルースを知ることなく、限定角度再構成におけるLAアーチファクトを推定し、そのような再構成に存在し得るLAアーチファクトを、例えば、減算の手段によって補正することができる。
更なる例では、推定器モジュールES内のCNNが、LAアーチファクトの補正に加えて、金属アーチファクト(MA)補正を実行するように構成されてもよい。
金属アーチファクトは、例えば整形外科的介入において金属物体によって引き起こされるアーチファクトであり、この物体は、取得されたX線投影画像において強いビーム硬化又は光子不足さえももたらしうる。既知のMA補正は、例えば、計算的に高価である2パス再構成アルゴリズムを使用することを含む。
一実施形態では、このような既知のMA補正アルゴリズムが、トレーニングフェーズで生成されたフルビュー再構成に適用されてもよい。その結果、推定器モジュールESのCNNは、限定角度アーチファクトを推定するだけでなく、金属アーチファクトを同時に推定することを学習する。したがって、LA及びMA補正は、LA補正単独と比較して、対応する計算時間の増加なしに、同時に実行され得る。
必要とされるトレーニング画像は、既存の履歴画像から収集され、組み立てられることができる。トレーニング後、MLCは、以前に処理されていない新しい画像を分析して、正確な推定を行うことができる。限定角度トレーニングデータは、「人工的な」LS再構成を生成するために、単純に特定の範囲を除外することによって、既存のフルスキャン投影から容易に生成され得る。いくつかの実施形態では、MLモデルは、ニューラルネットワーク、サポートベクトルマシン、決定木、統計的回帰又は分類スキーム、又はその他を含んでもよい。ニューラルネットワークモデルは、特に、1つ、好ましくは2つ以上の隠れ層を有する畳み込みニューラルネットワーク(CNN")を含む。層は、トレーニング入力画像を受け取り、ターゲットの推定値としてトレーニング出力画像を出力することができるように適切に寸法決めされる。ニューラルネットワークのパラメータは、トレーニングデータに基づいて、反復的最適化スキームで適応されてもよい。適切な最適化スキームは、前方‐後方伝搬又は他の勾配ベースの方法を含む。
再構成器RECONによって使用される再構成アルゴリズムは、推定器ESによって実施されるアルゴリズムと比較して、「古典的」(及び本明細書ではそのように称される)であり、後者は、トレーニングデータに対してトレーニングされる。より具体的には、推定器ESは、以前のトレーニング画像に対してトレーニングされたモデルを実施する。古典的な再構成器RECONは、一般に、ラドン変換又はフーリエ変換などの分析方法に基づく。FBPは、古典的再構成の一例であるが、古典的再構成は、反復又は代数(ART)再構成も含む。推定器ES及び古典的再構成器RECONの両方の動作は、本明細書では「再構成」と称されてもよい。2つを区別するために、再構成器RECONの動作は、本明細書では古典的再構成と称され、推定器ESの動作は、ML又は反復再構成と称されてもよい。
概して、本明細書で提案される画像処理システムIPSは、再構成器及び/又は機械学習(又は統計モデル)ベースの推定器モジュールESを使用することによって、限定角度再構成IMを生成するように構成される。本明細書で提案される撮像処理システムは、それ自体で、又は好ましくは、正しく再構成されないかもしれない不確実性のユーザエリアに示すように、限定角度再構成画像IMと同時に表示されることができる信頼度マップを生成するように構成される。不確実性の領域は、限定角度スキャンで収集された不完全な投影データによる空間情報の欠如によって引き起こされる、より大量の外挿を要求されうる。
限定角度断層撮影の概念は、平行な幾何構成のビームの例で図2に示される。他のビーム幾何構成、特に発散幾何構成も、また、本明細書において想定される。図2は、所与のスライス画像平面に対する撮像領域上の撮像軸Zに沿ったビューを与える。完全再構成のためには、少なくとも180°に対する円弧上の異なる方向からの投影画像が、必要とされる。このようなフルビュー軌道ORは、実線で示される。対照的に、180°未満の例示的な限定角度軌道ORは、破線で示される。
限定角度再構成は、ROIの周りの180°未満の円弧に対する方向pからの投影画像を使用する。限定角度再構成では、完全再構成よりも少ない投影画像が、使用される。この空間情報の欠如は、特定の画像アーチファクト(「LAアーチファクト」)をもたらす。
引き続き図2を参照すると、限定角度再構成アルゴリズムは、必ずしも連続的なサブアークに依存しないことが理解されるであろう。限定角度構成の本定義では、円弧上の取得位置がスキャン円弧ORに沿って連続的に(増分ステップ幅を無視して)配置されているか否かにかかわらず、スキャンにおいて最初に収集されたセットからのサブセットに依存することで十分である。言い換えれば、サブアーク間にギャップを有するアークORの構成も、また、本明細書で想定され、実際、これは、選択された投影画像が固定の心臓位相に対応し、したがって、図2で概略的に示唆される状況とは異なり、必ずしも連続するサブアーク(点線)を形成しない、心臓撮像中の場合であり得る。しかしながら、サブアークの角度カバレージの合計は、一般に、限定角度軌道ORにおいて180°未満である。しかしながら、角度サブ範囲の合計が少なくとも180°であっても、限定角度は、依然として、即ち、幾つかの角度サブ領域が重複している場合のような冗長性の場合に発生することができる。
スキャン円弧ORの角度範囲の定義には、軌道内の各焦点位置に対する中心線p(図2に太線で示される)の方向が、使用されてもよい。その場合、中心範囲によって掃引される範囲は、本明細書で想定される限定角度断層撮影スキャンでは180°未満である。扇形又はコーンビームのような発散ビーム幾何構成が使用される場合、扇形角度は、ここでは除外される。すなわち、そのような発散ビーム幾何構成では、ビームによって掃引される合計範囲は、扇形角度のために180°より大きくてもよいので、そのようなスキャンは、依然として、現在の目的のために限定角度スキャンとしてカウントされる。
スキャン軌道によってカバーされる投影方向は、本明細書では軌道内(「IO」)範囲の一部と称されてもよい。180°の半円における軌道範囲の角度補完物は、本明細書では軌道外(「OOO」)範囲と称される。換言すれば、OOO範囲は、スキャンにおいて訪れていない又はカバーされていない全ての投影方向(完全な半円まで)を含む。これは、OOO+IO=180°として代数的に要約されうる。
ここで、限定角度再構成における上述の不確実性の領域を示す図3が、参照される。図3は、関心領域内の境界の部分B1及びB2を有する境界を、図2と同様の幾何構成で示す。境界B1、B2は、異なる組織タイプ間の遷移を示してもよく、境界B1の1つの部分は、限定角度軌道ORにおける投影方向pに対応する方向qを有する。換言すると、X線源が図3に示されるように配置される場合には、投影方向pは、境界部分P1の方向qに平行である。投影方向と境界B1の方向成分との間にこのようなアライメントが存在する場合、それぞれの部分B1又はその周りの領域についての正確な再構成が、達成可能であり得る。対照的に、別の境界部分B2は、所与の限定角度軌道ORにおける任意の投影方向に平行でない方向rを有する。境界部分B2が走っている領域は、限定角度円弧ORで収集された空間情報が不十分であるため、正しく再構築可能ではない見込みのあることを意味する。方向qは、投影方向pと整列していない、又は「臨界的に整列」されないと称されてもよい。境界領域B2は、前述した「不確実性の領域」の一例を表す。提案された画像プロセッサIPSは、このような不確実性の領域を見つけ、示すように構成される。図3は、単に例示的な例であることが理解されるであろう。境界部分B1、B2は、一般に湾曲しており、上記の説明は、局所的な接線に関して投影方向を有する局所的な平行度に等しく適用される。
ここで、議論された画像処理システムIPSをより詳細に示す図4のブロック図を参照する。
好ましくはROIの(図2で説明されたように)限定角度スキャン軌道の間に取得される投影画像πは、入力インタフェースINにおいて受信される。
投影データは、従来の多色エネルギ積分イメージャIAによって取得されてもよい。代わりに、イメージャIAは、検出器におけるX線束を2つのエネルギレベルに分離する二重層検出器サブシステムDを有することを含むが、これに限定されない、スペクトル撮像のために構成される。代わりに、光子計数検出器サブシステムが、使用される。更に他の実施形態では、位相コントラストX線撮像が、使用される。
広くは、撮像処理システムは、実施形態では、2つの段階、すなわち、画像変換段階TS及び画像領域段階IDSを有する。画像変換段階では、限定角度スキャンで収集された投影画像が、入力画像と称される再構成(画像)IMに変換される。入力画像IMは、投影データから変換段階TSによって生成された限定角度再構成である。図4に示されるように、変換段階に対する異なる実施形態が、想定される。
一実施形態では、本明細書で好ましいように、まず、限定角度再構成R(π)(図示せず)の第1のバージョンを生成するために、場合によっては限定角度幾何構成を考慮する追加の正則化を含む、投影画像πに適用される古典的再構成スキームRECONが、存在する。このバージョンR(π)は、限定角度アーチファクトで損なわれる可能性が高い。次いで、この第1のバージョンR(π)は、推定器ESによって、改善された再構成、すなわち入力画像IMに処理される。上述したように、推定器ESは、機械学習アルゴリズム、例えば、ニューラルネットワークベース又は他のものとして実施されてもよい。
代わりに、古典的再構成は、全体的にスキップされることができ、機械学習ベースの推定器ESは、限定角度再構成IMを生成するために投影画像π上で直接的に動作することができる。更なる代替として、機械学習モジュールESは、スキップされることができ、次いで、入力画像は、上述のLA正則化を含んでもよい古典的再構成器RECONの動作によってのみ取得される。変換段階TSのいずれの実施形態が使用されても、入力画像IMは、画像領域段階IDSに渡される。画像領域段階IDSにおいて、信頼度マップCMは、以下でより完全に説明されるように構築される。信頼度マップCMは、図3で上述したように、投影方向との入力画像IM内の境界の不整合によって引き起こされる不確実性の領域を示すために、それ自体で、又は再構成IMに沿って表示されることができる。
より詳細には、画像領域段階IDSは、方向アナライザDAを含み、その出力、入力画像IM内の方向成分は、方向判別器DDに渡される。方向判別器DDは、臨界的に整列された境界又は境界領域B2に関する情報を信頼度画像コンストラクタCCに供給して、マップCMを構成する。次に、信頼度マップCMは、出力OUTを介して視覚化装置VIZに渡され、色符号化又はグレー値符号化などによって表示のためにレンダリングされる。代わりに、信頼度マップは、必ずしも表示される必要はなく、統計的分析のために、又は必ずしも表示を必要としない任意の他の処理のために渡される。
信頼度マップCMは、必ずしも再構成画像IM全体に対して生成されるわけではなく、その一部に対してのみ生成されてもよいことが理解されるであろう。実施形態では、まず、セグメンテーションが、入力画像IM上で実行されて、背景領域又は関心のない他の領域を除外する。次いで、信頼度マップCMは、セグメント化された非背景領域についてのみ構築される。
方向アナライザDAによる方向分析は、エッジフィルタを用いて行われてもよい。任意に、エッジフィルタリングの前に、ノイズの寄与を除去するために、ガウスカーネル(図示せず)などの平滑化フィルタ段が、存在する。
上述の方向アナライザDAは、「方向性画像」マップを生成し、ここで、入力画像IMのボクセルの少なくとも一部について、画像IM内のそれぞれの位置における方向成分が、符号化される。一例では、方向性画像の各ボクセルが、入力画像内のそれぞれのボクセルを通過するエッジの部分の接線(又は3Dでの接平面)の方向を定量化する。方向成分は、適切に符号化されてもよい。例えば、方向性画像内のボクセルは、その点における接線の角度の接線値に対応してもよく、又は接線の方向余弦に対応してもよい。
次に、方向判別器DDは、方向性画像(画像IMの全体を含んでも含まなくてもよい)内の各考慮されるボクセルについて、そのそれぞれの方向成分がIO範囲などの所定の範囲内にあるかどうかをチェックする。
判別は、任意の適切な方法で行われることができる。例えば、IO範囲内の方向成分を有する画像位置(ボクセル)は、入力画像IM内でフラグを立てられてもよい。好ましくは、しかしながら、識別され、適切にフラグを立てられるのは、OOO範囲内の接線を有するボクセルである。この例では、上述したような不確定性の境界領域が、判別されてもよい。フラグは、ビットマスクのような関連するマトリックス構造に記憶されてもよい。
より詳細には、方向アナライザDAは、入力画像IM内のエッジを検出するために、ソーベルカーネル(Sobel-kernel)などのエッジフィルタを使用してもよい。このようなフィルタの出力は、言及されているような方向画像、及び任意で強度画像を含む。方向画像は、画像IM内の各ボクセルについて、そのボクセルにおける局所勾配の方向を示す。関心のある方向成分は、エッジのコースであり、言い換えれば、エッジの接線方向であり、この接線方向は、局所勾配に垂直である。強度画像は、入力画像IMにおけるボクセル当たりの勾配の大きさを示す。固定された又はユーザ定義可能な閾値に基づく閾値処理は、その閾値未満の大きさを有する方向成分を有するエッジ点を除外するために行われてもよい。このようなエッジ点は、本明細書では無視できるエッジ点と称されてもよい。この閾値処理は、エッジ点のサブセットのみが更に考察されるので、方向判別器DD及びマップコンストラクタCCに対する計算負荷を低減することを可能にする。
判別器DDは、それらの方向性成分が瞬間軌道範囲を用いて軌道内であるか又はOOOであるかに基づいてエッジ点を区別する。瞬時軌道範囲OR、したがってOOO及びIO範囲は、例えばオペレータコンソールOC内の記憶装置から要求されることができ、又は画像IMがDICOMフォーマットで供給される場合には、例えば入力画像IM内のヘッダデータから読み出されてもよい。したがって、処理された画像IM内のエッジ点は、それらの方向成分がIO範囲内にある場合にはIOエッジ点と称され、さもなければOOOエッジ点と称される。方向判別器DDが動作する前に、掃き出された軌道ORにおける投影方向が測定される基準方向が、方向アナライザDAによって出力される方向性成分の基準方向と整列されることが保証されなければならない。回転のような対応する変換が、このアライメントのために必要とされ得る。
マップコンストラクタCCは、判別された方向成分を用いてマップCMを構成する。いくつかの実施形態によるマップCMでは、各非エッジ点は、マップコンストラクタCCによって透明値を割り当てられ、したがって、上述のように閾値処理が行われる場合には各々無視できるエッジ点である。更に、IOエッジ点は、実施形態では透明値を割り当てられる。OOOエッジ点のみが、色又はグレー値符号化において、ボクセル毎のMK2マーカによって視覚的にフラグ付けされる。それに加えて又はその代わりに、エリアごとのマーカMK2が、割り当てられてもよい。エリアごとのマーカ(ボクセルごとのマーカMMK1とは対照的に)は、OOOエッジ点のサブセットに外接するように形状及びサイズにおいて構成される。
次に、説明した実施形態の各々による信頼度マップCMは、視覚化装置VIZによって入力画像上に重ね合わせられてもよく、これは、OOOエッジ点のみをマークアップされたままにする。そのようなCMの「デュアルバージョン」は、IOエッジ点のみがマークアップされる場合に、追加的に又は代替的に生成されてもよいが、これは、一般に、IO点よりも少ないOOO点が期待されるので、あまり好ましくない。
一実施形態では、信頼度マップCMは、以下のように構築され、ガウスカーネルが、画像IMを滑らかにするために発行される。方向アナライザDAは、画像IM内のいくつか又はすべてのボクセル位置の中心差をとることによって、水平方向(例えば、Y)及び垂直方向(例えば、X)の局所勾配を計算することによって、エッジフィルタカーネルを実装してもよい。次いで、方向アナライザDAは、これらの局所的勾配から境界の局所的強度を計算して、強度画像及び境界の局所的方向を有する測定値を含む方向性画像を形成する。IO及びOOO範囲は既知であるので、判別器DDは、方向比較によって、どの境界が正しく再構成され、どれが正しく再構成されないかを決定することができる。方向画像は、強度画像においてこれらの境界を下方重みづけするのに使用されることができる。したがって、重み付けされた強度画像は、変換器段階TSにおいて誤って外挿された可能性のある境界のみを含む。そのように重み付けされた強度画像は、実施形態において信頼度マップCMとして出力されてもよい。
IPSは、ハードウェア又はソフトウェアにおいて構成されてもよい。一部又はすべてのコンポーネントは、中央メモリMEMに存在してもよい。画像処理システムIPSは、適切に構成された計算処理ユニットPUによって実現されてもよい。具体的には、IPSは、オペレータコンソールに統合されてもよいし、イメージャXIに関連付けられたワークステーションに統合されてもよい。代わりに、クラウドアーキテクチャにおいて、IPSコンポーネントのすべて又は一部が、1つ以上のサーバにわたって実装されてもよい。一部又はすべてのIPSコンポーネントは、中央又は分散メモリに保持されてもよい。ニューラルネットワーク(「NN」)アーキテクチャが、実施形態において実際に想定されるように、機械学習コンポーネントESのために使用される場合、有利には、マルチコアプロセッサPU及び/又は並列計算のために構成されたもの、例えばGPU又はTPUが、使用されてもよい。
図5A、Bは、実施形態において、マップコンストラクタCCによって構築されるような信頼度マップCMを含むグラフィック表示GDを示す。
図5Aは、入力画像IMから分離された、それ自体の信頼度マップCMを示す。光領域は、非訪問範囲OOO内の接線を有する点に対応する。これらは、推定器ES又は再構成器RECONによって外挿された点であり、したがって、アーチファクトに対してエラーを生じやすい。
図5Bは、信頼度マップが再構成画像IM上に重ねあわされる合成画像CM+IMを示す。図5Bの例では、OOO範囲の接線を有するボクセルMK1のみが、色符号化、グレー値符号化、又は任意の他のグラフィックマークアップなどによって示される。マップCMの残りの部分は、ユーザが再構成画像IM内の元の画像情報を見ることができるように、透明である。
点ごとの指標MK1に加えて又はその代わりに、楕円(又は3Dの楕円体)、正方形、又はOOO範囲内の接線を有するボクセルを含む画像の部分の輪郭を描くだけの他の形状の他のマーカMK2(本明細書では「OOO接線」とも称される)が、存在してもよい。比較のために、図5Cは、グランドトゥルース画像である。
信頼度マップを構築するための画像処理装置の上述の動作は、境界部分B1、B2が方向アナライザDAのフィルタによってエッジとして画像内で実際に検出されることができるという仮定に依拠する。しかしながら、このような検出は、必ずしも可能ではないかもしれない。場合によっては、エッジB1、B2は、方向アナライザDAによって識別されることができず、次いで、信頼度マップが、それぞれの部分について構築されることができない。これは、軟部組織のタイプの間の境界B1、B2について起こりうる。したがって、このエッジ不可視性の問題に対処するために、更なるインジケータSが、方向アナライザDAと協働して、提案された視覚化装置VSによって構築される。更に、インジケータSは、十分にコントラスト化された組織タイプインターフェースの場合であっても、特定の境界が、範囲OOOが欠落しているために推定器ESによってまったく外挿されていない可能性がある領域をユーザが迅速にチェックすることを可能にする。方向インジケータSは、OOO範囲内の方向を示し、これは、解剖学的構造ROI内のおそらく欠けている(すなわち、外挿されていない)境界の向きに直接的に対応する。
画像IM、したがって信頼度マップCMが表示される標準ビューは、通常、Z方向に沿っており、Z軸は、回転平面に垂直である。しかしながら、上述のような再フォーマットは、異なる観察方向に沿った断面画像IMのレンダリングを要求するために使用されることができる。これが起こる場合、方向インジケータSは、適切に同時変換される。方向インジケータSは、3Dでレンダリングされ、3Dで新たに要求されたビューに適応されるように、それに応じて「回転」されてもよい。したがって、ユーザは、どの角度が失われているか、及び画像のどの部分が正しく外挿されていない可能性があるかを直接かつ直感的にチェックすることができる。
インジケータSは、新しい平面に対する標準ビュー(軸Zに沿った)内のインジケータSの投影によって、新しい観察平面に適合されてもよい。特に、OOO範囲の方向を持つ線が、新しい観察平面上に投影される。したがって、インジケータSは、透視歪みを受けてもよく、及び/又はその画像ない位置は、画像IMが、標準ビューにおける画像内位置と比較して、観察方向にレンダリングされる場合に、変化してもよい。
この実施形態では、視覚化装置VIZが、イベントハンドラに結合された幾何学的変換器を含む。イベントハンドラは、いつユーザが再構成IMに対して特定の観察方向を要求するかを登録する。新しい観察方向が認識されると、それに応じて、OOO範囲インジケータSが、新しい観察平面上に投影される。必要な幾何学的変換は、方向アナライザDAからOOO範囲の指標を受け取る視覚化器VRの幾何学的変成器によって実行される。言い換えれば、視覚的インジケータSのリアルタイム動的適応が、本明細書において想定される。
再構成された画像は、3Dボリュームに対応し、標準方向Zに沿ったもの以外の、新たに要求された観察方向に沿ったレンダリングは、MIP(最大強度投影)又は他の再フォーマットアルゴリズムなどの任意の適切な3Dレンダリング技法によって得られることができる。信頼度マップCMは、標準ボリューム内のそれぞれの点に関連付けられ、専用の投影が要求されないように画像IMが表示用にレンダリング又はフォーマットされる場合に、自動的に同時レンダリング又は同時フォーマットされる。
OOO範囲インジケータSの視覚化の実施形態は、図6A、Bに示されている。示されている実施形態では、インジケータSが、円又は楕円の扇形として視覚化され、場合によっては色符号化される又はグレー値符号化される。扇形の開口角度は、OOO範囲内の角度の範囲に対応する。したがって、インジケータSは、解剖学的構造ROI内のおそらく欠けている又は不正確に再構成された境界の向きを視覚的に示す。図6Aは、140°取得を示し、したがって、OOOインジケータSは、約40°に相当する。図6Bでは、160°取得が、20°のOOO範囲を示すインジケータSと共に示される。
方向インジケータSの他の実施形態も、考えられる。一実施形態では、インジケータSが、OOO範囲を示す矢印の束としてレンダリングされる。一実施形態では、OOO範囲の中心光線の方向など、欠落範囲OOOの代表的な方向のみが、示される。一般に、OOO範囲内のいくつかの方向又はすべての方向を、好ましくはグラフィカルに示すことができる、インジケータSのための任意の構成が、想定される。しかしながら、インジケータSは、必ずしもグラフィックではなくてもよいが、代わりに、例えばテキストボックス内の純粋なテキスト情報としてOOO範囲を含んでもよい。このようなテキスト情報は、インジケータSの上述のグラフィカルな実施形態のいずれかと組み合わせられてもよい。
図6A、Bでは、方向インジケータSは、単一の要素として示されているが、これは、すべての実施形態において必ずしもそうでなくてもよい。例えば、OOO範囲が連続していない場合、インジケータSは、OOO範囲のそれぞれの部分範囲を各々示すために、それに応じて離散的な要素として空間的に分散された、複数のサブ要素を有してもよい。
ここでは、記述された画像処理システムIPSの少なくとも一部を実施するために使用されうるコンピュータ実施ステップを示すフローチャートである図7を参照する。しかしながら、以下に説明されるコンピュータ実施方法は、それ自体で教示として理解されてもよく、必ずしも上述したように画像処理システムIPSに結びつけられないことが理解されるであろう。
また、画像変換器段階TSにおける機械学習コンポーネントによる再構成及び推定に関連するステップと、信頼度マップ又は方向インジケータSを計算するためにIDS段階によって実行されるステップとは、必ずしも同じ機能ユニットに統合されないことも理解されよう。提案された第2段階IDSは、任意の画像再構成段階を有するアドオン第2段階として使用され得るスタンドアロンコンポーネントである。また、本明細書で提案される2つの視覚化、すなわち信頼度マップ及び方向インジケータSは、それ自体で(一方が他方を伴わずに)使用されることができるが、好ましくは組み合わせて使用されてもよいことも理解されよう。
最初の任意選択のステップにおいて、限定角度スキャンにおける投影データが、収集され、限定角度再構成画像IMに再構成される。再構成動作は、純粋に古典的な再構成アルゴリズムによって行われてもよい。しかしながら、好ましくは、再構成画像IMが、中間再構成画像IM'を生成するために古典的な再構成を使用することによって得られる。加えて、機械学習アルゴリズム(トレーニングデータについて適切にトレーニングされている)は、、再構成画像IMを生成するように限定角度アーチファクトについて中間再構成画像IM'を補正するのに使用される。更なる実施形態では、古典的な再構成アルゴリズムは、使用されないが、限定角度スキャンで収集された投影データから再構成画像IMを直接的に推定するために使用されるのは、統計的又は機械学習ベースのアルゴリズムのみである。
ステップS710において、限定角度スキャンで収集された投影データに基づいて、再構成された入力画像IMが、受信される。限定角度スキャンは、投影データが収集された複数の異なる投影方向を有する。この範囲は、それに対する補完物とは対照的に、訪問方向(軌道内)「IO」の範囲、LA軌道内で訪問されなかった方向の範囲、軌道外(「OOO」)範囲を規定する。
ステップS720において、方向成分が、入力画像内のボクセルの少なくとも一部について計算される。入力画像内のそれぞれの位置における計算された方向成分は、方向性画像又は方向性画像マップにおいて符号化される。一例では、方向成分が、接線、特に基準方向に対する接線の向きとして計算される。
ステップS730において、境界領域は、考慮される各ボクセルについて、ステップS720で計算されたその方向成分がLAスキャン中に訪問された投影方向IOの中にあるか否かをチェックすることによって判別される。
ステップS740において、信頼度マップが、構築される。信頼度マップは、入力画像内の各考慮されるボクセル(したがって、好ましくは入力画像のボクセルのサブセット)について、ステップS730で見つけられた方向成分が、限定角度スキャン軌道ORの訪問範囲IO内にあるか否かを示す。好ましくは、その方向成分が訪問された投影方向IOの範囲内にない点が、そのように示される。しかしながら、指標が逆にされるデュアルマップも、想定され、代替の実施形態において使用されてもよい。このようなデュアルマップでは、示されるのは、IO範囲内の方向成分を有するボクセルである。
次に、ステップS750において、このように構成された信頼度マップが、表示装置上に表示される。信頼度マップは、それ自体で表示されてもよく、又は入力画像IMと同時に表示されてもよく、好ましくは、入力画像のどの部分が不確実性の領域に対応するかをユーザに直感的に示すように、入力画像IMに重ね合わされて表示されてもよい。
信頼度マップによる指標は、ボクセルごとのマーカMK1であってもよく、又は上記の図5に例示的に示されるような領域ごとのマーカMK2によるものであってもよい。
ステップS750に加えて又はその代わりに、方向インジケータSが、表示された画像IMに関連して視覚化される。方向インジケータは、方向の非訪問範囲OOOの指標を提供する。
ステップS760において、方向インジケータSは、ステップS750で表示された再構成画像IMの観察方向に適合される。
この適応は、好ましくは、ステップS770において、入力画像の新たに要求された観察方向が存在するかどうかに基づいて、動的かつリアルタイムで行われる。ユーザが新しい観察方向を要求する場合、上述のステップが、繰り返され、信頼度マップ及び方向インジケータSは、画像ボリュームを通る新しい観察平面に適合される。
提案された方法は、トモシンセシスを含む、任意の種類の限定角度再構成タスクにおいて使用されてもよい。
画像処理システムIPSの構成要素は、単一のソフトウェアスイート内のソフトウェアモジュール又はルーチンとして実装され、イメージャIMに関連するワークステーション又はイメージャIAのグループに関連するサーバコンピュータなどの汎用計算ユニットPU上で実行されてもよい。代わりに、画像処理システムIPSの構成要素は、分散アーキテクチャにおいて構成され、適切な通信ネットワークに接続されてもよい。
代わりに、幾つか又は全ての構成要素は、適切にプログラムされたFPGA(フィールドプログラマブルゲートアレイ)のようなハードウェアにおいて又は配線ICチップとして、構成されてもよい。
本明細書で開示された1つ又は複数の特徴は、コンピュータ可読媒体内に符号化された回路として/回路を用いて、及び/又はそれらの組み合わせとして、構成又は実装されてもよい。回路は、離散型及び/又は集積回路、特定用途向け集積回路(ASIC)、システムオンチップ(SOC)、及びそれらの組み合わせ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含んでもよい。
本発明の別の例示的な実施形態において、適切なシステム上で、前述の実施形態のうちの1つによる方法の方法ステップを実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム素子が、提供される。
したがって、コンピュータプログラム素子は、本発明の実施形態の一部でありうるコンピュータユニットに記憶されてもよい。この計算ユニットは、上述の方法のステップを実行する又はその実行を誘導するように構成されてもよい。更に、上記装置のコンポーネントを動作させるように構成されてもよい。計算ユニットは、自動的に動作するように、及び/又はユーザのオーダを実行するように、構成されることができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するように構成されてもよい。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、更新を用いて既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を包含する。
更に、コンピュータプログラム素子は、上述の方法の例示的な実施形態のプロシージャを満たすために必要なすべてのステップを提供することができてもよい。
本発明の更なる例示的な実施形態によれば、CD-ROMなどのコンピュータ可読媒体が、提示され、コンピュータ可読媒体は、その上に記憶されたコンピュータプログラム素子を有し、そのコンピュータプログラム素子は、前述のセクションによって説明される。
コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体(特に、必ずではないが、非一時的媒体)上に記憶され及び/又は配布されてもよいが、他の形態で、例えばインターネット又は他の有線若しくは無線電気通信システムなどを介して、配布されてもよい。
しかしながら、コンピュータプログラムは、ワールドワイドウェブのようなネットワーク上で提示されてもよく、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードのために利用可能にする媒体が、提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの1つによる方法を実行するように構成される。
本発明の実施形態は、それぞれ異なる主題を参照して説明されることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明され、他の実施形態は、装置タイプの請求項を参照して説明される。しかしながら、当業者は、上記及び下記の説明から、別段の通知がない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも、本出願で開示されると見なされることを理解するであろう。しかしながら、全ての特徴は、組み合わされることができ、特徴の単純な合計よりも高い相乗効果を提供する。
本発明は、図面及び前述の説明において詳しく図示及び説明されてきたが、そのような図示及び説明は、例示的又は説明的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の検討から、請求項に記載の発明を実施する際に当業者によって理解され達成されることができる。
請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、請求項の中で言及される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項において言及されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
Claims (14)
- 撮像装置によって異なる投影方向に沿って限定角度スキャンで収集された投影データに基づいて入力画像を受け取るように構成された入力インターフェースと、
前記入力画像内のボクセルの少なくとも一部に対する方向成分を計算し、前記入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するように構成された方向アナライザと、
各考慮されたボクセルについて、その計算された方向成分が前記投影方向の少なくとも1つに沿っているか否かをチェックし、それによって境界領域を判別するように構成された方向判別器と、
前記判別された境界領域に基づいて信頼度マップを構築するように構成された信頼度マップコンストラクタと、
を有する、画像処理システム。 - 前記信頼度マップを表示装置上に表示させるように構成された視覚化装置を有する、請求項1に記載の画像処理システム。
- 前記信頼度マップは、前記入力画像と共に表示される、請求項1又は2に記載の画像処理システム。
- 前記投影データからの再構成に基づいて前記入力画像を計算するように構成された推定器を更に有する、請求項1乃至3のいずれか1項に記載の画像処理システム。
- 前記推定器は、機械学習アルゴリズムによって実施される、請求項4に記載の画像処理システム。
- 前記推定器は、畳み込みニューラルネットワークアーキテクチャを有する、請求項5に記載の画像処理システム。
- 前記限定角度スキャンは、前記収集された投影データの前記投影方向に対する角度範囲を規定し、前記視覚化器は、前記範囲を示す又は前記範囲の補完物を示す視覚的インジケータを前記表示装置上に表示するように構成される、請求項1乃至6のいずれか一項に記載の画像処理システム。
- 前記画像処理システムは、角度範囲の視覚的インジケータを表示装置上に表示するように構成された視覚化装置を有し、前記角度範囲は、X線撮像装置によって限定角度スキャンで収集された投影データの異なる投影方向の範囲であるか、又は前記範囲の補完物である。
- 前記入力画像は、前記視覚的インジケータと共に前記表示装置上に表示され、前記入力画像は、観察方向に対応し、前記視覚的インジケータは、前記観察方向に基づいて構成される、請求項8に記載の画像処理システム。
- 請求項1乃至9のいずれか1項に記載のシステム及び装置を含むX線撮像装置。
- 撮像装置によって異なる投影方向に沿った限定角度スキャンで収集された投影データに基づいて入力画像を受け取るステップと、
前記入力画像内のボクセルの少なくとも一部に対する方向成分を計算し、前記入力画像内のそれぞれの位置における計算された方向成分が符号化される方向性画像を生成するステップと、
各考慮されたボクセルについて、その計算された方向成分が前記投影方向の少なくとも1つに沿っているかどうかをチェックすることによって境界領域を判別するステップと、
前記判別された境界領域に基づいて信頼度マップを構築するステップと、
を有する画像処理方法。 - 角度範囲の視覚的インジケータを表示装置上に表示するステップであって、前記角度範囲は、X線撮像装置による限定角度スキャンで収集された投影データの異なる投影方向の範囲であるか、又は前記範囲の補完物である、ステップ、
を有する画像処理方法。 - 少なくとも1つの処理ユニットによって実行される場合、前記処理ユニットに請求項9乃至12のいずれか1項に記載の方法を実行させるように構成される、コンピュータプログラム要素。
- 請求項13に記載のコンピュータプログラム要素を記憶したコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19195845.3A EP3789963A1 (en) | 2019-09-06 | 2019-09-06 | Confidence map for neural network based limited angle artifact reduction in cone beam ct |
EP19195845.3 | 2019-09-06 | ||
PCT/EP2020/074762 WO2021043976A1 (en) | 2019-09-06 | 2020-09-04 | Confidence map for neural network based limited angle artifact reduction in cone beam ct |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022547463A true JP2022547463A (ja) | 2022-11-14 |
Family
ID=67909275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022514221A Pending JP2022547463A (ja) | 2019-09-06 | 2020-09-04 | コーンビームctにおけるニューラルネットワークに基づく限定角度アーチファクト軽減のための信頼度マップ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220319071A1 (ja) |
EP (2) | EP3789963A1 (ja) |
JP (1) | JP2022547463A (ja) |
CN (1) | CN114365192A (ja) |
WO (1) | WO2021043976A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11890124B2 (en) * | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
CN117355865A (zh) * | 2021-04-13 | 2024-01-05 | 棱镜传感器公司 | 确定用于计算机断层扫描中的深度学习图像重建的置信度指示 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8861827B2 (en) * | 2012-02-28 | 2014-10-14 | General Electric Company | System and method for determining confidence measurements of single volume elements in computer tomography |
-
2019
- 2019-09-06 EP EP19195845.3A patent/EP3789963A1/en not_active Withdrawn
-
2020
- 2020-09-04 JP JP2022514221A patent/JP2022547463A/ja active Pending
- 2020-09-04 CN CN202080062384.3A patent/CN114365192A/zh active Pending
- 2020-09-04 US US17/640,809 patent/US20220319071A1/en active Pending
- 2020-09-04 WO PCT/EP2020/074762 patent/WO2021043976A1/en unknown
- 2020-09-04 EP EP20764415.4A patent/EP4026102B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021043976A1 (en) | 2021-03-11 |
EP3789963A1 (en) | 2021-03-10 |
CN114365192A (zh) | 2022-04-15 |
US20220319071A1 (en) | 2022-10-06 |
EP4026102B1 (en) | 2024-02-14 |
EP4026102A1 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2668639B1 (en) | Truncation compensation for iterative cone-beam ct reconstruction for spect/ct systems | |
US8879814B2 (en) | Method and apparatus for reducing motion related imaging artifacts using consistency values | |
RU2471204C2 (ru) | Локальная позитронная эмиссионная томография | |
US8229200B2 (en) | Methods and systems for monitoring tumor burden | |
CN109389655B (zh) | 时变数据的重建 | |
Jeong et al. | Usefulness of a metal artifact reduction algorithm for orthopedic implants in abdominal CT: phantom and clinical study results | |
US10111638B2 (en) | Apparatus and method for registration and reprojection-based material decomposition for spectrally resolved computed tomography | |
US8111889B2 (en) | Method and apparatus for efficient calculation and use of reconstructed pixel variance in tomography images | |
US10789738B2 (en) | Method and apparatus to reduce artifacts in a computed-tomography (CT) image by iterative reconstruction (IR) using a cost function with a de-emphasis operator | |
US20110044559A1 (en) | Image artifact reduction | |
US8885903B2 (en) | Method and apparatus for statistical iterative reconstruction | |
US20140294138A1 (en) | Out of plane artifact reduction in digital breast tomosynthesis and ct | |
US8415630B2 (en) | Apparatus and methods for determining a boundary of an object for positron emission tomography scatter correction | |
JP2019111346A (ja) | 医用処理装置及び放射線診断装置 | |
US20150279084A1 (en) | Guided Noise Reduction with Streak Removal for High Speed C-Arm CT | |
US9349199B2 (en) | System and method for generating image window view settings | |
JP2020535924A (ja) | 診断撮像における画像特徴のアノテーション | |
JP2022547463A (ja) | コーンビームctにおけるニューラルネットワークに基づく限定角度アーチファクト軽減のための信頼度マップ | |
Yin et al. | Acquisition, preprocessing, and reconstruction of ultralow dose volumetric CT scout for organ‐based CT scan planning | |
US9858688B2 (en) | Methods and systems for computed tomography motion compensation | |
US20180092608A1 (en) | Reconstruction of Flow Data | |
Rubert et al. | Improvement in CT image resolution due to the use of focal spot deflection and increased sampling | |
CN112204607B (zh) | 用于x射线成像的散射校正 | |
US20220375038A1 (en) | Systems and methods for computed tomography image denoising with a bias-reducing loss function | |
EP3097540B1 (en) | Method of repeat computed tomography scanning and system thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240322 |