JP2020116378A - 深層学習ベースの画像再構成のためのシステムおよび方法 - Google Patents

深層学習ベースの画像再構成のためのシステムおよび方法 Download PDF

Info

Publication number
JP2020116378A
JP2020116378A JP2019222767A JP2019222767A JP2020116378A JP 2020116378 A JP2020116378 A JP 2020116378A JP 2019222767 A JP2019222767 A JP 2019222767A JP 2019222767 A JP2019222767 A JP 2019222767A JP 2020116378 A JP2020116378 A JP 2020116378A
Authority
JP
Japan
Prior art keywords
image
ray
organ
volume
projection images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019222767A
Other languages
English (en)
Other versions
JP7237809B2 (ja
Inventor
シルヴァン・ベルナール
Sylvain Bernard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020116378A publication Critical patent/JP2020116378A/ja
Application granted granted Critical
Publication of JP7237809B2 publication Critical patent/JP7237809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/408—Dual energy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】深層学習ベースの画像再構成のための方法、装置、およびシステムが、本明細書に開示される。【解決手段】典型的な少なくとも１つのコンピュータ可読記憶媒体が、実行時に、少なくとも１つのプロセッサに、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、前記複数の２Ｄトモシンセシス投影画像から前記器官の三次元（３Ｄ）ボリュームを再構成するステップと、第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップと、合成２Ｄ画像生成アルゴリズムを、前記再構成された３Ｄボリュームから、前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標に基づいて生成するステップと、前記合成２Ｄ画像生成アルゴリズムをインスタンス化するモデルを展開するステップとを少なくとも実行させる命令を含む。【選択図】図１１

Description

本開示は、広くには、画像再構成に関し、より詳しくは、深層学習ベースの画像再構成のためのシステムおよび方法に関する。
放射線撮影が、対象のオブジェクトにおける異常を探すために、一般的に使用されている。放射線撮影画像は、例えば患者の器官などのオブジェクトの投影を表す。より具体的な例（ただし、これに限られるわけではない）において、器官は乳房であり、画像はマンモグラフィ画像である。マンモグラフィは、乳がんの検診および診断に数十年にわたって使用されてきた。放射線撮影画像は、一般に、Ｘ線がオブジェクトを横切って検出器に到達するように、Ｘ線を放射するソースとＸ線の検出器との間にオブジェクトを配置することによって取得される。このようにして、放射線撮影画像は、検出器によってもたらされるデータから構成され、Ｘ線の方向に検出器へと投影されたオブジェクトを表す。
マンモグラフィの場合、経験豊富な放射線科医は、例えば微小石灰化、腫瘤、または他の影などの潜在的な問題を示す放射線医学に係る徴候を区別することができる。しかしながら、二次元（２Ｄ）投影画像においては、組織の重なり合いによって病変が隠れてしまう可能性があり、いずれにせよ対象のオブジェクトにおける病変の実際の位置は不明であり、医師は投影方向における放射線医学に係る徴候の位置についていかなる情報も有さない。
トモシンセシスが、これらの問題に対処するために使用される。トモシンセシスにおいては、器官の三次元（３Ｄ）表現を、一連の連続したスライスとして得ることができる。スライスは、さまざまな角度での対象のオブジェクトの投影から再構成される。これを行うために、対象のオブジェクトは、通常は、Ｘ線を放射するソースとＸ線の検出器との間に配置される。ソースおよび／または検出器は、検出器へのオブジェクトの投影の方向を（例えば、３０度の角度範囲にわたって）変えることができるように可動である。これにより、対象のオブジェクトのいくつかの投影が異なる角度のもとで取得され、そこから、オブジェクトの三次元表現を、例えば通常は再構成法によって再構成することができる。
各々の投影において、Ｘ線の放射線量は、当然ながら、標準的なマンモグラフィに使用される線量よりも少ない。例えば、標準的なマンモグラフィによる放射線量をＤとし、トモシンセシスに使用される投影の数をＮとすると、各々の投影に使用される放射線量は、通常はおおむねＤ／Ｎである。
現時点において、標準的なマンモグラフィおよびトモシンセシスの両方が放射線技師によって使用されているが、各々の技術が利点を有している。標準的なマンモグラフィは、微小石灰化の撮像においてトモシンセシスよりも優れている。これは、おそらくは、個々の標準的なマンモグラフィ画像がより多くのエネルギおよび線量を使用して取得されること、およびトモシンセシスにおける再構成プロセスがすでに小さい石灰化のエッジをぼかす傾向にあることに起因する。トモシンセシスは、トモシンセシスにおける再構成が、器官内の塊状物ならびに器官内の対象のオブジェクトからの重なり合いおよび逆投影エラーを適切に特定するため、有棘塊状物の撮像に優れている。
放射線科医は、各々の技術の利点を利用するために標準的なマンモグラフィ画像およびトモシンセシス画像の両方を取得することができるが、これらの撮像プロセスは、典型的には、放射線科医が撮像技術の間の切り換えを行うことによって順次に実行される。
近年において、デジタル乳房トモシンセシス（ＤＢＴ）およびコントラスト強調デジタル乳房トモシンセシス（ＣＥ−ＤＢＴ）が、効果的ながん検出技術であることが証明されている。ＤＢＴは、Ｘ線を使用して乳房の三次元（３Ｄ）画像を生成する。多くの角度から各々の乳房の複数のＸ線写真を撮影することによって、コンピュータが、異常の検出に使用される３Ｄ画像を生成することができる。ＤＢＴ／ＣＥ−ＤＢＴプロセスの重要部分は画像再構成であり、なぜならば、放射線科医が診断を決定するためにレビューするデータの内容に直接影響するからである。画像を再構成するために、アルゴリズムが、ノイズおよびストリークラインを減らすようにトレーニングされ、使用される。アルゴリズムの複雑さにもかかわらず、ＤＢＴプロセスは、典型的には、完璧な画像再構成をもたらしていない。
米国特許出願公開第２０１９／１０２９１６号明細書
対象のオブジェクトの１つ以上の画像を取得するための典型的な撮像システムを示している。 器官に対するソース／エミッタの典型的な動きを示している。 典型的な画像処理システムを示している。 図３の典型的な画像処理システムのトレーナおよびモデラの典型的な実施態様を示している。 典型的な深層学習ニューラルネットワークを示している。 畳み込みニューラルネットワークとしての図５の典型的なニューラルネットワークの特定の実施態様を示している。 画像解析畳み込みニューラルネットワークの典型的な実施態様を示している。 画像を処理および／または他のやり方で評価するための深層学習ネットワークを適用するための典型的な構成を示している。 ボリューム画像データを提供するためのトモシンセシス取得を使用した図５の例のトレーニングネットワークの典型的なトレーニングを示している。 図５の例のトレーニングネットワークの典型的なテストを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１〜図１０の典型的なシステムを実現するための典型的な機械可読命令を表すフローチャートを示している。 図１１〜図１５の方法を実施するために使用することができるプロセッサの図である。
図面は一定の縮尺ではない。むしろ、複数の層および領域を分かりやすくするために、層の厚さが図面において増やされている場合がある。可能な限り、同じ参照番号が、図面および付随の書面による説明の全体を通して、同一または同様の部分を指して用いられる。本特許において使用されるとき、何らかの部分（例えば、層、フィルム、領域、またはプレート）が何らかのやり方で別の部分の上に置かれている（例えば、・・・上に置かれ、・・・上に位置し、・・・上に配置され、あるいは・・・上に形成され、など）という表現は、該当の部分が別の部分に接触していること、または該当の部分が１つ以上の介在部分を間に位置させつつ別の部分の上方にあることを意味する。何らかの部分が別の部分に接触しているという表現は、２つの部分の間に介在部分が存在しないことを意味する。
特定の例は、深層学習ベースの画像再構成のための方法およびシステムを提供する。
特定の例は、命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体を提供し、前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、前記複数の２Ｄトモシンセシス投影画像から前記器官の三次元（３Ｄ）ボリュームを再構成するステップと、第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップと、合成２Ｄ画像生成アルゴリズムを、前記再構成された３Ｄボリュームから、前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標に基づいて生成するステップと、前記合成２Ｄ画像生成アルゴリズムをインスタンス化するモデルを展開するステップとを実行させる。
特定の例は、命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体を提供し、前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップと、ボリューム再構成アルゴリズムを、前記複数の二次元（２Ｄ）トモシンセシス投影画像から、前記ボリューム再投影と前記Ｘ線画像との間の類似度指標に基づいて生成するステップと、前記ボリューム再構成アルゴリズムをインスタンス化するモデルを展開するステップとを実行させる。
特定の例は、命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体を提供し、前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップと、画像強化アルゴリズムを、前記複数の２Ｄトモシンセシス投影画像からの中央トモシンセシス投影から、前記画像強化アルゴリズムの出力と前記Ｘ線画像との間の類似度指標に基づいて生成するステップと、前記画像強化アルゴリズムをインスタンス化するモデルを展開するステップとを実行させる。
特定の例は、命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体を提供し、前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、前記複数の２Ｄ投影画像を劣化させ、前記第１のレベルのＸ線エネルギ投入よりも低いレベルのＸ線エネルギ投入で取得されたように見える一式の劣化させたトモシンセシス投影画像を形成するステップと、画像強化アルゴリズムを、前記画像強化アルゴリズムの出力と前記元の投影との間の類似度指標を最小化する傾向の前記一式の劣化させたトモシンセシス投影画像から生成するステップと、前記画像強化アルゴリズムをインスタンス化するモデルを展開するステップとを実行させる。
特定の例は、命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体を提供し、前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも、器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップと、前記複数の２Ｄトモシンセシス投影画像から前記器官の元の三次元（３Ｄ）ボリュームを再構成するステップと、前記複数の２Ｄ投影画像を劣化させ、前記第１のレベルのＸ線エネルギ投入よりも低いレベルのＸ線エネルギ投入で取得されたように見える一式の劣化させたトモシンセシス投影画像を形成するステップと、ボリューム再構成アルゴリズムを、前記ボリューム再構成アルゴリズムの出力と前記元の３Ｄボリュームとの間の類似度指標を最小化する傾向の前記一式の劣化させたトモシンセシス投影画像から生成するステップと、前記ボリューム再構成アルゴリズムをインスタンス化するモデルを展開するステップとを実行させる。
以下の詳細な説明において、本明細書の一部を形成する添付の図面を参照するが、図面には、実施され得る具体的な例が例示として示されている。これらの例は、本主題の実施を当業者にとって可能にするように充分に詳しく説明されており、他の例も利用可能であることを理解すべきである。したがって、以下の詳細な説明は、典型的な実施態様を説明するために提示されており、本開示に記載される主題の技術的範囲を限定するものと解釈されるべきではない。以下の説明の別々の態様からの特定の特徴を組み合わせて、以下で説明される主題のさらなる新たな態様を形成することができる。
本開示の種々の実施形態の要素を紹介する場合に、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「前記（ｔｈｅ）」、および「前記（ｓａｉｄ）」は、その要素が１つ以上存在することを意味するように意図される。「・・・を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「・・・を含む（ｉｎｃｌｕｄｉｎｇ）」、および「・・・を有する（ｈａｖｉｎｇ）」という用語は、包括的であるように意図され、列挙された要素以外のさらなる要素が存在してもよいことを意味する。
本明細書において使用されるとき、「システム」、「ユニット」、「モジュール」、などという用語は、１つ以上の機能を実行するよう動作するハードウェアおよび／またはソフトウェアシステムを含むことができる。例えば、モジュール、ユニット、またはシステムは、コンピュータメモリなどの、有形の非一時的なコンピュータ可読記憶媒体に格納された命令に基づいて動作を実行するコンピュータプロセッサ、コントローラ、および／または他の論理ベースのデバイスを含むことができる。あるいは、モジュール、ユニット、またはシステムは、デバイスの有線のロジックに基づいて動作を実行する有線デバイスを含むことができる。添付の図面に示されるさまざまなモジュール、ユニット、エンジン、および／またはシステムは、ソフトウェアまたは有線の命令に基づいて動作するハードウェア、動作を実行するようにハードウェアを導くソフトウェア、あるいはそれらの組み合わせを表すことができる。
本明細書において使用されるとき、用語「マッピング」は、撮像されたオブジェクト内の場所の位置を、オブジェクトについて取得された１つ以上の画像内の対応する場所へと変換することを示す。これに代え、あるいはこれに加えて、マッピングは、第１の画像内の或る地点が、他の関連の画像内の同じ地点へと、それらの場所の座標が合成二次元画像、三次元ボリューム、などを形成するときに相関付けられるようにマッピングされるような複数の画像またはビュー内の共通の地点の間の相関関係を指すことができる。例えば、３Ｄオブジェクトの各々の要素（例えば、ピクセル、ボクセル、など）は、座標系における位置を有する。３Ｄオブジェクトの要素のマッピングは、３Ｄオブジェクトからのデータ点を、生成された２Ｄまたは３Ｄ画像の対応するデータ点へと変換することを意味する。
本明細書において使用されるとき、用語「投影」または「投影画像」は、特定の角度またはビューからのＸ線の放射から得られた画像を意味する。投影を、３Ｄオブジェクトについて一式の投影画像を異なる角度からキャプチャし、ボリュームを再構成し、さらには／あるいは合成２Ｄ画像を生成するようにマッピングし、あるいは組み合わせる／融合させるマッピングの特定の例と考えることができる。各々の投影画像は、中央投影（例えば、ベース投影、垂直投影、ゼロ角度投影、など）に対してキャプチャされる。投影から得られる画像は、元の３Ｄオブジェクトとほぼ同一の３Ｄ再構成画像、または各々の投影を統合して各々のビューの情報を活用する合成２Ｄ画像のいずれかである。
本明細書において使用されるとき、用語「取得ジオメトリ」は、一連の２Ｄ投影を取得するための３Ｄオブジェクト（例えば、検出器）に対するＸ線ソースの特定の経路または動きである。
特定の例が、医療現場またはヘルスケア現場の文脈において以下で説明されるが、他の例は、医療環境以外の環境で実施可能である。
多数のさまざまな応用において、深層学習技術が、マシンに生データを与え、データ分類に必要な表現を決定することを可能にする学習方法を利用している。深層学習は、深層学習マシンの内部パラメータ（例えば、ノードの重み）を変更するために使用される逆伝搬アルゴリズムを使用して、データセット内の構造を突き止める。深層学習マシンは、さまざまな多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、機械学習は、ネットワークのトレーニングに使用されるべき特徴の識別を必要とするが、深層学習は、外部の識別を必要とすることなく、生データを処理して関心の特徴を識別する。
ニューラルネットワーク環境における深層学習は、ニューロンと呼ばれる多数の相互接続されたノードを含む。入力ニューロンが、外部のソースから活性化され、他のニューロンをマシンパラメータによって支配される他のニューロンへの接続に基づいて活性化させる。ニューラルネットワークは、自身のパラメータに基づく特定の様相で挙動する。学習によってマシンパラメータ、したがってネットワーク内のニューロン間の接続がリファインされ、ニューラルネットワークが所望の様相で挙動するようになる。
深層学習は、多くのデータセットが低レベルの特徴を含む高レベルの特徴を含むという理解に基づいて動作する。例えば、画像を調べる際に、オブジェクトを探すよりもむしろ、探しているオブジェクトを形成する部分を形成するモチーフを形成するエッジを探す方が効率的である。特徴のこれらの階層を、音声およびテキストなどの多数のさまざまなデータ形式において見ることができる。
医療分野における深層学習技術の典型的な使用は、マンモグラフィである。マンモグラフィは、乳がんおよび他の異常の検診に使用される。伝統的に、マンモグラムは、Ｘ線フィルム上に形成されている。しかしながら、最近では、マンモグラムをデジタル形式で取得することによって取得画像の分析および保管を容易にするフラットパネルデジタルイメージャが導入されている。さらに、乳房の三次元画像の取得が大いに注目され、技術開発が行われている。三次元（３Ｄ）マンモグラフィは、デジタル乳房トモシンセシス（ＤＢＴ）とも呼ばれる。二次元（２Ｄ）マンモグラフィは、フルフィールドデジタルマンモグラフィであり、合成２Ｄマンモグラフィは、ＤＢＴボリュームの個々の拡張スライス（例えば、１ｍｍ、２ｍｍ、など）を組み合わせることにより、３Ｄデータから導出された２Ｄ写真を生成する。乳房トモシンセシスシステムは、各々がＸ線ソースの異なる角度変位において取得された一連の二次元（２Ｄ）投影画像から、３Ｄ画像ボリュームを再構成する。再構成された３Ｄ画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、スライスは、イメージング検出器に平行な平面上で幾何学的に再構成される。
学習された観察可能な特徴には、教師あり学習においてマシンによって学習されたオブジェクトおよび定量化可能な規則が含まれる。充分に分類されたデータの大きなセットが提供されたマシンは、新たなデータの成功裏の分類に関する特徴の識別および抽出へと良好に準備されている。
深層学習マシンは、データの特徴を人間の専門家によって確認された特定の分類に適切に結び付けることができる。反対に、同じマシンは、人間の専門家による誤った分類が与えられた場合に、分類のためのパラメータを更新することができる。例えば、設定および／または他の構成情報を、設定および／または他の構成情報の学習された使用によって導くことができ、システムがより多く使用される（例えば、繰り返し使用され、さらには／あるいは複数のユーザによって使用される）場合、所与の状況において、設定および／または他の構成情報に関するいくつかの変動および／または他の可能性を減らすことができる。
典型的な深層学習ニューラルネットワークは、例えば、専門家によって分類されたデータセットについてトレーニング可能である。このデータセットは、ニューラルネットワークの第１のパラメータを構築し、これは教師あり学習の段階であると考えられる。教師あり学習の段階において、ニューラルネットワークを、所望の挙動が達成されたか否かについてテストすることができる。
ひとたび所望のニューラルネットワーク挙動が達成される（例えば、マシンが特定のしきい値に従って動作するようにトレーニングされる）と、マシンを使用（例えば、「本物の」データによってマシンをテストするなど）のために展開することができる。動作時に、ニューラルネットワークの分類を、ニューラルネットワークの挙動を改善し続けるために（例えば、専門家ユーザ、エキスパートシステム、参照データベース、などによって）確認または拒否することができる。したがって、ニューラルネットワークの挙動を決定する分類のパラメータを、進行中の相互作用に基づいて更新することができる。特定の例において、ニューラルネットワークは、別のプロセスに直接的なフィードバックを提供することができる。特定の例において、ニューラルネットワークは、別のプロセスへの提供前に（例えば、クラウドなどを介して）バッファおよび検証されるデータを出力する。
畳み込みニューラルネットワーク（ＣＮＮ）を用いた深層学習マシンを、データ解析に用いることができる。ＣＮＮ解析の段階を使用して、画像投影データ内のピクセルの高さ（ｉ，ｊ）、ＣＡＤを使用した画像データ内の病変の存在、などを評価および／または他のやり方で推定することができる。
深層学習マシンは、画像解析を改善するためのコンピュータ支援の検出サポート、および患者のコンピュータ支援の診断を提供することができる。教師あり深層学習は、例えば、誤分類への感受性の軽減に役立つことができる。深層学習マシンは、教師ありトレーニングにおいて利用することができる小さなデータセットに対処するために、医師との対話時に転移学習を利用することができる。これらの深層学習マシンは、それらのコンピュータ支援診断を時間とともに改善することができる。
典型的なシステムおよび関連の方法
図１は、対象のオブジェクトの１つ以上の画像を取得するための典型的な撮像システム１００を示している。典型的なシステム１００は、検出器１４５に面するＸ線ビームソース１４０を含む。Ｘ線ビームソースまたはエミッタ１４０と、検出器１４５とは、アーム１４４によって接続されている。対象のオブジェクト１３２を、検出器１４５とソース１４０との間に配置することができる。図１の例において、Ｘ線ソース１４０は、単一の検出器１４５の上方を、円弧を描くように移動する。検出器１４５と、円弧（破線を参照）を辿るＸ線ソース１４０’および１４０’’の複数の位置とが、破線／実線にて、一部分の斜視図に示されている。図１の例に示される構成において、検出器１４５は図示の位置に固定され、Ｘ線ソース１４０のみが移動する。角度ａは、ゼロ方向と他の方向（１４１および１４２など）とによって囲まれる投影角度である。この構成を使用して、乳房（例えば、対象のオブジェクト１３２）の組織の複数のビューを、少なくとも１つのＸ線ソース１４０によって取得することができる。ａが最も小さい投影またはゼロ方向に最も近い投影は、近似により、中央投影またはゼロ投影と呼ばれる。
さらに図１を参照すると、左側に、検出器１４５とＸ線ソース１４０とを含む撮像システム１００の一部分の斜視図が示されている。Ｘ線ソースの種々の位置１４０、１４０’、および１４０’’が、Ｘ線ソース１４０の移動を示すために大まかに描かれている。直線として示されているゼロ投影１０５を含む９つの異なる投影ビュー１０１、１０２、１０２、１０３、１０４、１０６、１０７、１０８、１０９が存在し、いずれも検出器１４５の中心を向いている。
患者（図示せず）は、マンモグラフィアームの前方に位置する。例えば、中外斜位方向（ＭＬＯ）ビューを得るために、マンモグラフィ技術者１８１は、所望の投影のための角度（３０度〜６０度であり、４５度が図１の斜視図に示される好ましいゼロ投影を表す）を設定する。通常の検診マンモグラフィにおいては、乳房組織のより多くの部分を画像化できるため、斜めのＭＬＯビューが横方向の９０度の投影よりも好ましい。
ディスプレイユニット１７０に示される対象のオブジェクト１３２は、最適な画質のために放射線曝露の最中の乳房の均一な圧迫および固定を保証する役に立つ圧迫パドル１３３によって圧迫された乳房である。乳房１３２は、例えば、検出器１４５の平面に垂直なゼロ方向１４３において位置特定された石灰化としての点状のオブジェクト１３１を含む。ユーザは、例えば、診断のために石灰化または他の臨床関連構造をレビューすることができる。ディスプレイ１７０は、主として乳房１３２の中央部分をレビューすることができる２Ｄマンモグラフィビューを示している。
検出器１４５およびＸ線ソース１４０は、データ取得ライン１５５を介して処理ユニット１５０に接続された取得ユニットを形成する。処理ユニット１５０は、例えば、アーカイブライン１６５を介して接続されてよいメモリユニット１６０を含む。
医療専門家などのユーザは、ユーザインターフェース１８０を介して制御信号を入力することができる。そのような信号は、信号ライン１８５を介してユーザインターフェース１８０から処理ユニット１５０へと伝えられる。典型的なシステム１００を使用して、２Ｄマンモグラムであるように見える強化された２Ｄ投影画像を取得することができる。この高品質の画像に基づいて、放射線科医および／または他のユーザは、乳房の検診に関連する臨床徴候を特定することができる。さらに、トモシンセシスによって取得された新たな２Ｄ投影画像と比較するために、履歴の保存済みの２Ｄマンモグラムを表示することができる。トモシンセシス画像をレビューおよびアーカイブすることができ、ＣＡＤシステム、ユーザ、などが、３Ｄマークをもたらすことができる。画像データから得られた点状のオブジェクトまたは他のオブジェクトの高さマップを、ＣＡＤシステムによって３Ｄマークに基づいてもたらされ、３Ｄレビューを通じてユーザによって示されるなどの高さ情報と、組み合わせることができる。さらに、ユーザは、２Ｄフルボリューム画像をアーカイブするように決定でき、さらに／あるいは他の画像がアーカイブされる。これに代え、あるいはこれに加えて、画像の保存および保管を自動的に行うことができる。
特定の例において、メモリユニット１６０は、処理ユニット１５０に統合されてよく、さらには／あるいは処理ユニット１５０から分離されていてもよい。メモリユニット１６０は、２Ｄの強化された投影画像および／またはトモシンセシス３Ｄ画像などのデータの格納を可能にする。一般に、メモリユニット１６０は、例えばハードディスクまたはＣＤ−ＲＯＭ、ディスケット、ＲＯＭ／ＲＡＭメモリ、ＤＶＤ、ネットワークまたはインターネットなどのデジタルソース、などのコンピュータ可読媒体を含むことができる。処理ユニット１５０は、メモリユニット１６０に格納されたプログラム命令を実行するように構成され、これらのプログラム命令は、コンピュータに本明細書に開示および記載の方法を実行させ、さらには／あるいは本明細書に開示および記載のシステムを実現させる。本方法の実行および／または本システムの実現の１つの技術的効果は、通常は高品質の画像を得るために追加のＸ線曝露を使用して取得される既知の２Ｄマンモグラムを強化された２Ｄ投影画像で置き換えることができるため、Ｘ線ソースの使用を少なくできることである。
図２が、器官Ｏに対するソース／エミッタ１４０の典型的な動きを示している。エミッタ１４０が器官の周りを回転するとき、エミッタ１４０は、器官を通って検出器１４５へとＸ線を導くためのビーム成形（図示せず）をさらに含むことができる。図２の例に示されるように、オブジェクトＯは、オブジェクトを圧迫するために下部支持体２０２と圧迫支持体２０４との間に配置され、検出器１４５は、下部支持体２０２に一体化されている。他の例においては、オブジェクト／器官を、支持体２０２および／または２０４を用いずに検出器１４５に対して配置することができる。エミッタ１４０は、例えば、器官Ｏの周りで、器官Ｏに対する複数の向きへと回転可能であってよい。一例においては、エミッタ１４０を、器官Ｏに対して全体として３０度の円弧にて回転させることができ、あるいは器官Ｏに対して各方向（時計回りおよび反時計回り）に３０度回転させることができる。これらの回転の円弧が、あくまでも例にすぎず、使用可能な角度の範囲を限定しようとするものではないことを、理解できるであろう。
エミッタ１４０を、器官Ｏおよび検出器１４５の一方または両方に直交する位置に位置させることができることを、理解できるであろう。この直交位置または中心位置において、とくには単一のエミッタ１４０および検出器１４５がＦＦＤＭ画像およびデジタル乳房トモシンセシス（ＤＢＴ）投影画像の両方を取得するために使用される典型的な構成において、フルフィールドデジタルマンモグラフィ（ＦＦＤＭ）を取得することができる。ＤＢＴ投影画像は、器官Ｏの周りのエミッタ１４０のさまざまな角度で取得される。さまざまな撮像ワークフローを、典型的なシステム１００を使用して実施することができる。一例においては、ＦＦＤＭ画像が、器官に直交する位置で取得され、ＤＢＴ投影画像が、器官Ｏに直交するエミッタ１４０の位置で取得されるＤＢＴ投影画像を含めて、器官Ｏに対するさまざまな角度で取得される。再構成の際に、ＤＢＴ投影画像およびＦＦＤＭ画像が使用され、例えば器官の３Ｄボリュームが再構成される。
一例において、ＤＢＴ投影画像は、器官に対するエミッタ１４０のさまざまな角度で取得される。しかしながら、ＤＢＴ投影画像は、器官に直交するエミッタ１４０の位置では取得されない。代わりに、ＦＦＤＭ画像が取得される。器官の３Ｄボリュームは、ＤＢＴ投影画像およびＦＦＤＭ画像の両方を使用して再構成される。
別の例において、ＤＢＴ投影画像は、器官に直交する位置を含む器官に対するエミッタ１４０のさまざまな角度で取得される。ＦＦＤＭ画像が、器官に直交して取得される。器官の３Ｄボリュームの再構成において、ＦＦＤＭ画像は、器官Ｏに直交するエミッタ１４０で取得されたＤＢＴ投影画像を置き換える。
別の例においては、ＤＢＴ投影画像が、器官の周りで、器官に対するエミッタ１４０のさまざまな角度で取得される。すでに述べたように、各々の個別のＤＢＴ投影画像のエネルギ投入のレベルは、典型的には、ＦＦＤＭが取得されるＸ線エネルギレベルよりも低い。この例では、器官に直交する位置に対する角度が最大であるＤＢＴ投影画像において、Ｘ線エネルギ投入が最低であり、その後の各々のＤＢＴ投影画像の取得に使用されるＸ線エネルギ投入が、器官に対するエミッタ１４０の角度が直交に近づくにつれて増加し、器官に直交して取得されるＤＢＴ投影画像が、ＦＦＤＭ画像の取得のＸ線エネルギに近づき、あるいはＦＦＤＭ画像の取得のＸ線エネルギに等しくなるように、ＤＢＴ投影画像の取得の全体にわたって動的なエネルギ投入が使用される。
デジタルマンモグラフィ画像とも呼ばれるＦＦＤＭ画像は、オブジェクト内の小さな視野（ＦＯＶ）ではなく、オブジェクト（例えば、乳房など）の全視野の撮像を可能にする。デジタル検出器１４５は、移動およびオブジェクト全体の一部分を表す複数の画像の組み合わせを必要とするのではなく、ターゲットオブジェクトＯの全視野の撮像を可能にする。
特定の例においては、合成２Ｄ画像をトモシンセシス取得データから生成でき、得られる合成２Ｄ画像は、オブジェクトについて取得されたＦＦＤＭ画像と診断品質において少なくとも同様に良好である。合成２Ｄ画像においてこの診断品質の分解能を達成するために、例えばトモシンセシスデータに機械学習を適用することができる。しかしながら、深層学習アルゴリズムは、ネットワークモデルの内部パラメータを最適化するために大量の真データを必要とし、キュレーションされた真データの収集は、痛みを伴い、費用がかかる。したがって、特定の例においては、ＤＢＴおよび２Ｄマンモグラフィ画像を含む組み合わせ事例を利用して、学習アルゴリズム（例えば、深層学習アルゴリズム、他の機械学習アルゴリズム、など）をトレーニングすることができる。したがって、例えば複数のサイトからのおそらくは何千もの事例の組み合わせ画像データを利用して、ネットワークモデルをトレーニングすることができる。ＦＦＤＭの取得は、ＦＦＤＭ画像を忠実に反映し、さらには／あるいはＦＦＤＭ画像にきわめて類似（例えば、特定のアーチファクト／ノイズ限界ならびに／あるいは他のエラー許容範囲の範囲内など）した合成２Ｄ画像を学習ネットワークが生成したことを確認するための「真画像」として役立つことができる。特定の例においては、ネットワークモデルによって出力された合成２Ｄ画像をボリューム情報（例えば、有棘塊状物など）で強化して、ＦＦＤＭ画像よりも優れた強化画像を生成することができる。
したがって、特定の例においては、器官の複数の２Ｄトモシンセシス投影画像を、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得することで、対象の器官および／または他のオブジェクトを撮像することができる。次いで、器官の３Ｄボリュームが、複数のトモシンセシス投影画像から再構成される。器官のＸ線画像は、第２のレベルのＸ線エネルギ投入で取得される。学習ネットワークモデルが、例えば合成２Ｄ画像と得られたＸ線画像（例えば、ＦＦＤＭ画像および／または強化ＦＦＤＭ画像など）との間の類似度指標を減少させ、あるいは最小化する傾向の３Ｄボリュームおよび／または２Ｄ投影からの相関を作成することによって、ネットワークモデルにおいてインスタンス化される合成２Ｄ画像生成アルゴリズムを生み出すために使用される。
特定の例においては、３Ｄボリュームの各々の平面が２Ｄ Ｘ線画像の画像ジオメトリに一致させられる。深層学習および／または他の機械学習ネットワークによる学習は、円錐再構成を使用して３Ｄボリュームを再構成することによって促進される（例えば、平面内のオブジェクトは、あたかもソースが検出器の平面から無限の距離に位置しているかのように実際のサイズと比較して拡大される）。円錐再構成を使用し、選択プロセスが並列に生じ、幾何学的変換は必要でない。３Ｄボリュームは、例えば、コンボ−ＦＦＤＭ取得のソース位置（例えば、ＤＢＴ中央投影とは違ってよい）に従って再構成される。
特定の例においては、３Ｄボリュームの領域を抽出することができ、３Ｄボリュームから抽出された領域で合成２Ｄ画像を強化して、抽出された領域の位置での３Ｄボリュームへの合成２Ｄ画像のマッピングを強化することができる。ネットワークによって提供される合成２Ｄ画像を、ＦＦＤＭを凌ぐように、有棘塊状物などの３Ｄボリュームにおいてのみ見ることができる情報で強化することができる。
特定の例においては、器官の複数の２Ｄトモシンセシス投影画像を、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得することで、患者の器官を撮像することができる。次いで、器官のＸ線画像を、第２のレベルのＸ線エネルギ投入で取得することができる。ボリューム再構成アルゴリズムは、ボリューム再投影とＸ線画像との間の類似度指標を最小化し、あるいは低減する傾向のトモシンセシス投影からのモデルによって学習させられる。
特定の例においては、器官の複数の２Ｄトモシンセシス投影画像を、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得することで、器官および／または他のターゲットを撮像することができる。器官のＸ線画像は、第２のレベルのＸ線エネルギ投入で取得される。画像強化アルゴリズムが、学習ネットワークによって、例えばアルゴリズムの出力とＸ線画像との間の類似度指標を減少させ、あるいは最小化する傾向の中央トモシンセシス投影から学習させられる。テスト段階においては、トモシンセシス投影のみが取得される（コンボは取得されない）。画像強化アルゴリズムは、一式のトモシンセシス投影へと適用される。強化されたボリュームが、強化された投影から再構成される。合成２Ｄ画像が、例えば強化された投影／ボリュームから計算される。
特定の例においては、器官の複数の２Ｄトモシンセシス投影画像を、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得することで、器官を撮像することができる。特定の例においては、投影画像を、あたかも画像がより低い線量で取得されたかのように劣化させることができる。画像強化アルゴリズムが、ネットワークによって、アルゴリズムの出力と元の投影との間の類似度指標を最小化し、あるいは減少させる傾向の劣化トモシンセシス投影から学習させられる。テスト段階において、低線量トモシンセシス取得が実行される。画像強化アルゴリズムは、一式のトモシンセシス投影へと適用される。改善されたボリュームが、強化された投影から再構成される。合成２Ｄ画像が、例えば強化された投影／ボリュームから計算される。
特定の例においては、器官の複数の２Ｄトモシンセシス投影画像を、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得することで、器官が撮像される。器官の元の３Ｄボリュームが、複数のトモシンセシス投影画像から再構成される。投影画像を、あたかもより低い線量で取得されたかのように劣化させることができる。ボリューム再構成アルゴリズムが、例えば再構成の出力と元のボリュームとの間の類似度指標を最小化し、あるいは減少させる傾向の劣化した投影から、ニューラルネットワークによって学習させられる／ニューラルネットワークにインスタンス化される。
特定の例においては、より高線量の画像が、複数の画像取得を含む複数の取得のＦＦＤＭ画像を利用することによって得られる。特定の例において、機械学習アルゴリズムは、合成２Ｄ画像の出力と組み合わせＦＦＤＭ画像との間の類似度指標を最小化し、あるいは減少させるように、（例えば、ニューラルネットワークモデルなどの）内部パラメータを最適化し、さらには／あるいは改善する。
以前の合成２Ｄ画像は、ＦＦＤＭ画像よりも画質が低いと認識されていた。したがって、女性についてＤＢＴおよびＦＦＤＭの両方の取得が行われ、患者への放射線量が２倍になっていた。ＦＦＤＭ画像と少なくとも同等に良好な画質の合成２Ｄ画像を生成することにより、特定の例は、合成２Ｄ画像生成に技術的改善をもたらし、患者の放射線への曝露を減らし、撮像および分析の時間を減らし、画像の取得、処理、およびレビューのための完全な３Ｄプロトコルの採用を促進する。
これまでの合成２Ｄ画像生成においては、中央投影が、他の投影からの情報を使用して強化されるベースラインと見なされる。しかしながら、この手法は、多くの欠点を有する。例えば、中心投影は低線量のＤＢＴ投影画像であるため、ベースラインにノイズが多くなる。ノイズは、最終的な合成２Ｄ画像における望ましくないノイズにつながる。さらに、開発中の新世代のＤＢＴシステムにおいては、リップルアーチファクトを回避するために投影の数が増加しそうである。全体としての線量は変わらないままであるが、投影ごとの線量は増加すると考えられる。したがって、ベースラインとして中央投影に依存することは、困難になりそうである。
ＦＦＤＭのような画像が、有用かつ信頼できるベースラインとして機能することができる。しかしながら、ＤＢＴ取得からＦＦＤＭ取得のように見える画像を生成するアルゴリズムを設計することは、困難な作業である。特定の例は、このような画像を生成するために機械学習を利用する。したがって、機械学習アルゴリズムは、１つ以上の投影画像を処理して、画像を合成ＦＦＤＭ画像としてレンダリングすることができる（例えば、投影画像のノイズ除去など）。
図３が、画像取得ユニット３１０と、データストア３２０と、モデルトレーナ３３０と、モデラ３４０と、出力プロセッサ３５０と、フィードバックユニット３６０とを含む典型的な画像処理システム３００を示している。特定の例において、画像取得ユニット３１０は、撮像システム１００を含み、さらには／あるいは撮像システム１００と通信して、画像データ（例えば、ＦＦＤＭ画像、ＤＢＴ画像データ、他の画像データ、など）を受け取り、かつ／または取得する。画像データは、データストア３２０（例えば、データベース、データ構造、ハードドライブ、ソリッドステートメモリ、フラッシュメモリ、他のコンピュータメモリ、など）に格納される。
トレーナ３３０およびモデラ３４０は、データストア３２０から画像および／または他のデータを受け取る。トレーナ３３０は、モデラ３４０にモデルとして展開される深層学習ネットワークおよび／または他の機械学習ネットワーク（例えば、畳み込みニューラルネットワーク、再帰ニューラルネットワーク、ランダムフォレスト、など）をトレーニングおよびテストする。トレーニングされたネットワークモデルは、データストア３２０からの画像データを処理し、オブジェクトについてそのオブジェクトの実際のキャプチャ画像（例えば、ＦＦＤＭ画像など）にきわめてよく似た合成画像を生成するために、モデラ３４０によって使用される。生成されたネットワークをトレーニングおよびテストするための画像入力は、トモシンセシス画像データ、再構成されたボリューム画像データ、２Ｄマンモグラムデータ、投影画像データ、ＦＦＤＭ画像データ、などを含む。
モデラ３４０は、展開された人工知能モデル（例えば、ニューラルネットワーク、ランダムフォレスト、など）を使用して、到来する画像データを処理し、実際に取得されたデジタル画像（例えば、ＦＦＤＭ画像など）に類似するように充分な診断品質の合成画像を形成する。モデラ３４０によって生成された合成画像は、表示、保存、（例えば、病変、腫瘍、などを検出するためのコンピュータ支援診断用の）別のシステムによる処理、別の装置（例えば、タブレットまたはスマートフォンなど）との通信、などのための画像出力を生成するために、出力プロセッサ３５０へともたらされる。
画像出力からのフィードバックを、フィードバックユニット３６０によってキャプチャし、トレーナ３３０に提供することができ、トレーナ３３０は、フィードバックを利用して、人工知能モデルを改善することができる。フィードバックを、モデルのトレーニングおよび／またはテストに使用することができ、モデラ３４０へと展開されるモデルのトレーナ３３０による再生成を定期的にトリガするために使用することができる。
図４が、トレーナ３３０およびモデラ３４０の典型的な実施態様を示している。図４の例に示されるように、トレーナ３３０は、入力プロセッサ４１０と、トレーニングネットワーク４２０と、出力検証器４３０と、フィードバックプロセッサ４４０とを含む。典型的なモデラ３４０は、プリプロセッサ４５０と、展開されたモデル４６０と、ポストプロセッサ４７０とを含む。図４の例において、ＦＦＤＭ画像、ＤＢＴ画像データ、他の画像データ、などの入力が、入力プロセッサ４１０へともたらされ、入力プロセッサ４１０は、トレーニングネットワーク４２０に入力されるデータを準備する。例えば、データを、ネットワーク４２０に入力される画像データ（例えば、画像データピクセルおよび／またはボクセル値など）を準備するために、フィルタ処理し、補足し、さらには／あるいは他のやり方で変更することができる。
典型的なトレーニングネットワーク４２０は、入力プロセッサ４１０からの入力データを処理して、出力を生成し、出力は、出力検証器４３０によって検証される。したがって、トレーニングネットワーク４２０は、入力画像データを受け取り、ＦＦＤＭ画像などのフルデジタル画像の診断品質に匹敵し、あるいはそれを超える充分な診断品質を有する合成画像を生成する学習アルゴリズムを動的に形成するように、接続を発達させ、画像データを処理する。出力検証器４３０は、例えば、トレーニングネットワーク４２０から出力された合成画像データを、データストア３２０から提供される真のＦＦＤＭ画像データと比較して、ネットワーク４２０の精度を検証することができる。ネットワーク４２０の出力が正確でない（例えば、充分な診断品質でない）場合、例えば、ネットワーク４２０を更新し、入力データを再び処理して、別の一式の出力合成画像データを評価のために生成するように、ネットワーク４２０を（例えば、ネットワークの重みを調整する、ノードの接続を変更する、などによって）修正することができる。ひとたびトレーニングネットワーク４２０の出力画像品質が出力検証器４３０によって検証されると、トレーニングネットワーク４２０を使用して、モデラ３４０用のネットワークモデル４６０を生成して展開することができる。
定期的に、フィードバックをフィードバックプロセッサ４４０へともたらすことができ、フィードバックプロセッサ４４０は、フィードバックを処理し、ネットワーク４２０の更新または再生成をトリガするかどうかを評価する。例えば、展開されたネットワークモデル４６０の合成画像出力が正確であり続ける場合、更新を行うべき理由はないかもしれない。しかしながら、例えば、ネットワークモデル４６０の合成画像出力が不正確になると、ネットワーク４２９の再生成または他の更新をトリガし、（例えば、追加のデータ、新たな制約、更新された構成、などに基づいて）更新されたネットワークモデル４６０を展開することができる。
展開されたネットワークモデル４６０は、入力画像データを処理し、画像データを合成画像（例えば、合成２Ｄ画像など）へと変換するために、モデラ３４０によって使用される。例えばデータストア３２０などからの入力データが、プリプロセッサ４５０によって準備され、ネットワークモデル４６０（例えば、深層学習ネットワークモデル、機械学習モデル、他のネットワークモデル、など）へと供給される。例えば、入力画像データを、画像データがネットワークモデル４６０へともたらされる前に、コントラスト、輝度、レベル、アーチファクト／ノイズなどを調整するために、プリプロセッサ４５０によって調整することができる。モデル４６０は、プリプロセッサ４５０からの画像データを処理し、合成画像データを構築する。モデル４６０から出力された合成画像データは、モデル４６０から出力されたデータをクリーンアップし、オーガナイズし、さらには／あるいは他のやり方で修正して合成２Ｄ画像を形成することができるポストプロセッサ４７０によって後処理される。特定の例において、ポストプロセッサ４７０は、合成画像の保存、表示、別のシステムへの伝達、などの前に、出力された画像データについて検証を行い、さらには／あるいは他のやり方で品質チェックを実行することができる。
図５が、典型的な深層学習ニューラルネットワーク５００を示している。典型的なニューラルネットワーク５００は、層５２０、５４０、５６０、および５８０を含む。層５２０および５４０は、ニューラル接続５３０で接続されている。層５４０および５６０は、ニューラル接続５５０で接続されている。層５６０および５８０は、ニューラル接続５７０で接続されている。データは、入力５１２、５１４、５１６を介して入力層５２０から出力層５８０および出力５９０へと順方向に流れる。
層５２０は、図５の例では、複数のノード５２２、５２４、５２６を含む入力層である。層５４０および５６０は、隠れ層であり、図５の例ではノード５４２、５４４、５４６、５４８、５６２、５６４、５６６、５６８を含む。ニューラルネットワーク５００は、図示されているよりも多数または少数の隠れ層５４０および５６０を含んでもよい。層５８０は、出力層であり、図５の例では、出力５９０を有するノード５８２を含む。各々の入力５１２〜５１６は、入力層５２０のノード５２２〜５２６に対応し、入力層５２０の各々のノード５２２〜５２６は、隠れ層５４０の各々のノード５４２〜５４８への接続５３０を有する。隠れ層５４０の各々のノード５４２〜５４８は、隠れ層５６０の各々のノード５６２〜５６８への接続５５０を有する。隠れ層５６０の各々のノード５６２〜５６８は、出力層５８０への接続５７０を有する。出力層５８０は、典型的なニューラルネットワーク５００からの出力をもたらす出力５９０を有する。
接続５３０、５５０、および５７０のうち、特定の典型的な接続５３２、５５２、５７２に追加の重みを与えることができる一方で、他の典型的な接続５３４、５５４、５７４には、ニューラルネットワーク５００におけるより軽い重みを与えることができる。入力ノード５２２〜５２６が、例えば、入力５１２〜５１６を介して入力データを受信することによって活性化される。隠れ層５４０および５６０のノード５４２〜５４８および５６２〜５６８が、接続５３０および５５０をそれぞれ介するネットワーク５００におけるデータの順方向の流れによって活性化される。出力層５８０のノード５８２は、隠れ層５４０および５６０において処理されたデータが接続５７０を介して送られた後に活性化される。出力層５８０の出力ノード５８２が活性化されると、ノード５８２は、ニューラルネットワーク５００の隠れ層５４０および５６０で達成された処理に基づいて適切な値を出力する。
図６が、畳み込みニューラルネットワーク６００としての典型的なニューラルネットワーク５００の特定の実施態様を示している。図６の例に示されるように、入力５１０が、入力５１０を処理して第２の層５４０へと伝搬させる第１の層５２０へと提供される。入力５１０は、第２の層５４０でさらに処理され、第３の層５６０へと伝搬する。第３の層５６０は、出力層５８０へともたらされるデータを分類する。より具体的には、図６の例に示されるように、畳み込み６０４（例えば、５ｘ５の畳み込みなど）が第１の層５２０において入力５１０（例えば、３２ｘ３２のデータ入力など）の一部またはウィンドウ（「受容野」とも呼ばれる）６０２に適用され、特徴マップ６０６（例えば、（６ｘ）２８ｘ２８の特徴マップなど）がもたらされる。畳み込み６０４は、入力６１０からの要素を特徴マップ６０６にマッピングする。さらに、第１の層５２０は、縮小された特徴マップ６１０（例えば、（６ｘ）１４ｘ１４の特徴マップなど）を生成するためにサブサンプリング（例えば、２ｘ２のサブサンプリングなど）をもたらす。特徴マップ６１０は、畳み込み６１２を経て、第１の層５２０から第２の層５４０へと伝搬し、そこで特徴マップ６１０は、拡張された特徴マップ６１４（例えば、（１６ｘ）１０ｘ１０の特徴マップなど）となる。第２の層５４０におけるサブサンプリング６１６の後に、特徴マップ６１４は、縮小された特徴マップ６１８（例えば、（１６ｘ）５ｘ５の特徴マップなど）となる。特徴マップ６１８は、畳み込み６２０を経て、第３の層５６０へと伝搬し、ここで特徴マップ６１８は、例えば畳み込みされた層６２２への接続６２６を有するＮ個の分類の出力層６２４を形成する分類層６２２となる。
図７が、画像解析畳み込みニューラルネットワーク７００の典型的な実施態様を示している。畳み込みニューラルネットワーク７００は、入力画像データ７０２を受け取り、畳み込み層７０４において画像データを抽象化して、学習された特徴７１０〜７２２を識別する。第２の畳み込み層７３０において、画像データは、複数の画像７３０〜７３８へと変換され、画像７３０〜７３８において、学習された特徴７１０〜７２２の各々は、それぞれのサブ画像７３０〜７３８において強調される。画像７３０〜７３８は、画像７４０〜７４８において関心の特徴７１０〜７２２に注目するようにさらに処理される。結果として得られる画像７４０〜７４８は、次に、画像７４０〜７４８のうちの関心の特徴７１０〜７２２を含む部分７５０〜７５４を分離するために画像７４０〜７４８のサイズを縮小するプーリング層を通って処理される。畳み込みニューラルネットワーク７００の出力７５０〜７５４は、最後の非出力層から値を受け取り、最後の非出力層から受け取ったデータに基づいて画像を分類する。特定の例において、畳み込みニューラルネットワーク７００は、畳み込み層、プーリング層、学習された特徴、および出力、などについて、多くの異なる変形を含むことができる。
図８が、画像を処理および／または他のやり方で評価するための深層学習ネットワークを適用するための典型的な構成８００を示している。深層学習を、画像の取得、画像の再構成、画像の解析／診断、などのさまざまなプロセスに適用することができる。図８の典型的な構成８００に示されるように、生データ８１０（例えば、Ｘ線スキャナ、コンピュータトモグラフィスキャナ、超音波スキャナ、磁気共鳴スキャナ、などの撮像スキャナから得られたソノグラム生データなどの生データ８１０）が、深層学習ネットワーク８２０へと供給される。深層学習ネットワーク８２０は、データ８１０を処理して、生画像データ８１０を結果画像８３０（例えば、「良質」画像および／または診断に充分な品質をもたらす他の画像など）へと相関付け、さらには／あるいは結合させる。深層学習ネットワーク８２０は、生データ８１０を最終的な画像８３０に関連付けるためのノードおよび接続（例えば、経路）を含む。深層学習ネットワーク８２０は、例えば、接続を学習し、フィードバックを処理して、接続を確立させ、パターンを識別するトレーニング深層学習ネットワーク（例えば、トレーニングネットワーク４２０）であってよい。深層学習ネットワーク８２０は、例えば、トレーニングネットワークから生成され、トレーニングネットワークに確立された接続およびパターンを利用して、入力生データ８１０を取り入れ、結果としての画像８３０を生成する展開された深層学習ネットワーク（例えば、展開されたネットワークモデル４６０）であってよい。
ひとたびＤＬＮ８２０がトレーニングされ、生画像データ８１０から良好な画像８３０を生成すると、ネットワーク８２０は、「自己学習」プロセスを継続し、動作するにつれてその性能を改良することができる。例えば、入力データ（生データ）８１０における「冗長性」およびネットワーク８２０における冗長性が存在し、冗長性を利用することができる。
ＤＬＮ８２０内のノードに割り当てられた重みが検査される場合、重みがきわめて低い多数の接続およびノードが存在する可能性が高い。低い重みは、これらの接続およびノードがＤＬＮ８２０の全体性能にほとんど寄与しないことを示している。したがって、これらの接続およびノードは、冗長である。このような冗長性を評価して、入力（生データ）８１０の冗長性を低減することができる。入力８１０の冗長性の低減は、例えば、スキャナハードウェアの節約および構成要素への要求の低減をもたらすことができ、患者への曝露線量の低減ももたらすことができる。
展開において、構成８００は、入力定義８１０と、トレーニングされたネットワーク８２０と、出力定義８３０とを含むパッケージ８００を形成する。パッケージ８００を、撮像システム、解析エンジン、などの別のシステムに対して展開およびインストールすることができる。
図９が、ＤＢＴ取得９１０を使用してボリューム画像データ９２０を提供するトレーニングネットワーク４２０の典型的なトレーニング９００を示している。ボリューム画像データ９２０は、出力９５０を生成するために、１つ以上の最大プーリング層９３０と１つ以上の完全に接続された層９４０とを含むトレーニングネットワーク４２０へと入力として提供される。出力９５０は、真のＦＦＤＭコンボ取得９７０から得られたＦＦＤＭ画像９６０と比較される。ネットワークパラメータが、ＦＦＤＭ画像９６０とネットワーク４２０の出力９５０との間のエラーを低減または最小化するように学習される。例えば、出力画像９５０とＦＦＤＭ真画像９６０との間のエラーを、
エラー＝ΣＴｒａｉｎｉｎｇ＿ＳｅｔΣｘ，ｙ［Ｏｕｔｐｕｔ（ｘ，ｙ）−ＦＦＤＭ（ｘ，ｙ）］２（式１）
などのエラー測定値または類似度指標として定量化することができる。
図１０に示されるように、出力画像９５０が真のＦＦＤＭ画像９６０と比較され、類似度指標がほぼゼロおよび／または特定のしきい値未満（例えば、０．５未満、０．０５未満、１％未満、など）であると、ネットワーク４２０はトレーニング済みと見なされ、ネットワーク４２０をテストすることができる。エラーしきい値が満たされるまで、ネットワーク４２０のトレーニングを続け、ネットワークパラメータを修正して、ネットワーク４２０にインスタンス化される画像処理アルゴリズムを動的に形成することができる。トレーニングされたネットワークは、追加のＤＢＴ取得１０１０を使用してテストされ、追加のＤＢＴ取得１０１０は、画像の新たなボリューム１０２０を抽出し、トレーニングされたネットワーク４２０へと供給するために使用され、合成２Ｄ画像１０３０がネットワーク４２０の層（例えば、最大プーリング層９３０および完全に接続された層９４０などを含む）の出力１０３０として生成される。合成画像１０３０を評価して、トレーニングされたネットワーク４２０の精度の保証に役立てることができる。テスト画像評価がエラーしきい値／類似度指標（例えば、式１によって設定される図９と同じエラーしきい値／類似度指標、またはテスト用のより厳しいしきい値、など）を満たす場合、トレーニングされたネットワーク４２０を使用して、展開されたネットワークモデル４６０として展開されるモデルを生成することができる。
図３の典型的なシステム３００の典型的な実施態様が図４〜図１０に示されているが、図３〜図１０に示されている要素、プロセス、および／または装置のうちの１つ以上を組み合わせ、分割し、配置変更し、省略し、削除し、さらには／あるいは任意の他のやり方で実現することが可能である。例えば、図３〜図１０の要素は個別に示されているが、特定の例においては、図３〜図１０を組み合わせて、２Ｄおよび／または３Ｄ画像生成のためのボクセル、ピクセル、などの複数のグラフィック要素を受け入れる単一のシステムとして実現させることができる。特定の例においては、典型的な画像取得ユニット３１０、データストア３２０、トレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、および／またはより一般的には、図３〜図１０の典型的なシステム３００を、ハードウェア、ソフトウェア、ファームウェア、ならびに／あるいはハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、典型的な画像取得ユニット３１０、データストア３２０、トレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、および／またはより一般的には、図３〜図１０の典型的なシステム３００のいずれかを、１つ以上のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、および／またはフィールドプログラマブルロジックデバイス（ＦＰＬＤ）によって実現することができる。純粋にソフトウェアおよび／またはファームウェアの実施態様を包含するように本特許の装置またはシステムの請求項のいずれかを理解するとき、典型的な画像取得ユニット３１０、データストア３２０、トレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、および／またはより一般的には、図３〜図１０の典型的なシステム３００のうちの少なくとも１つは、ソフトウェアおよび／またはファームウェアを格納するメモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、ブルーレイディスク、などの有形のコンピュータ可読記憶装置または記憶ディスクを含むように本明細書によって明確に定義される。またさらに、図３〜図１０の典型的なシステム３００は、図３〜図１０に示されている要素、プロセス、および／または装置に加え、あるいは図３〜図１０に示されている要素、プロセス、および／または装置に代えて、１つ以上の要素、プロセス、および／またはデバイスを含むことができ、さらには／あるいは図示されている要素、プロセス、および装置のいずれかまたはすべてを２つ以上含んでもよい。
図３〜図１０の典型的なシステム３００を実現するための典型的な機械可読命令を表すフローチャートが、図１１〜図１５に示される。これらの例において、機械可読命令は、図１１〜図１５に関連して以下で説明される典型的なプロセッサプラットフォーム１６００に示されるプロセッサ１６１２などのプロセッサによる実行のためのプログラムを含む。このプログラムを、ＣＤ−ＲＯＭ、フロッピーディスク、ハードドライブ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、またはプロセッサ１６１２に関連付けられたメモリなどの有形のコンピュータ可読記憶媒体上に記憶されたソフトウェアに具現化させることができるが、代案として、プログラム全体および／またはその一部が、プロセッサ１６１２以外の装置によって実行されてよく、さらには／あるいはファームウェアまたは専用ハードウェアに具現化されてもよい。さらに、典型的なプログラムは、図１１〜図１５に示されるフローチャートを参照して説明されるが、典型的なシステム３００を実現する多数の他の方法を代わりに使用してもよい。例えば、ブロックの実行順序を変更してもよく、さらには／あるいは記載されたブロックのいくつかを変更したり、削除したり、組み合わせたりしてもよい。
上述したように、図１１〜図１５の典型的なプロセスは、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、および／または他の任意の記憶装置もしくは情報が任意の期間（例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および／または情報をキャッシュする間）で記憶されているストレージディスクなどの有形のコンピュータ可読ストレージ媒体に記憶されるコード化された命令（例えば、コンピュータおよび／または機械可読命令）を使用して実施することができる。本明細書において使用されるとき、有形のコンピュータ可読記憶媒体という用語は、任意の種類のコンピュータ可読記憶装置および／または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書において使用されるとき、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は、互換的に使用される。これに加え、あるいはこれに代えて、図１１〜図１５の典型的なプロセスは、情報を任意の期間にわたって記憶する（例えば、長期間にわたって記憶し、恒久的に記憶し、短時間だけ記憶し、一時的にバッファし、さらには／あるいは情報をキャッシュする）ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、ならびに／あるいは任意の他の記憶装置または記憶ディスクなどの非一時的なコンピュータおよび／または機械可読媒体に記憶された符号化命令（例えば、コンピュータおよび／または機械可読命令）を使用して実現され得る。本明細書において使用されるとき、非一時的なコンピュータ可読媒体という用語は、任意の種類のコンピュータ可読記憶装置および／または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書において使用されるとき、「少なくとも」という表現は、請求項の前文における遷移の用語として使用される場合、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同様の様相でオープンエンドである。
図１１は、患者の器官などのオブジェクトを撮像するための典型的な方法１１００を表すフローチャートである。ブロック１１１０において、複数の投影画像が、第１のエネルギ投入レベルで器官および／または他のオブジェクトについて取得される。例えば、複数の２Ｄトモシンセシス投影画像が、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得される。
ブロック１１２０において、オブジェクトのボリュームが投影画像から再構成される。例えば、器官の３Ｄボリュームを、複数の２Ｄトモシンセシス投影画像から再構成することができる。
ブロック１１３０において、オブジェクトのＸ線画像が、第２のレベルのＸ線エネルギ投入で取得される。例えば、器官のＦＦＤＭ画像などのＸ線画像を、投影画像の取得に用いたレベルよりも高いレベルのＸ線エネルギ投入を使用して取得することができる。
特定の例において、Ｘ線画像は、トモシンセシス投影画像のジオメトリ（例えば、取得ジオメトリ）内にフィットするように位置合わせされる。特定の例において、Ｘ線画像および複数のトモシンセシス投影画像は、器官の同じ圧迫の最中に（例えば、患者の乳房の同じ圧迫の最中に）取得される。特定の例において、複数の２Ｄトモシンセシス投影画像およびＸ線画像は、投影画像および／またはＸ線画像に導入され得るノイズを調整し、さらには／あるいは他のやり方で補正するために、複数の２Ｄ投影画像および／またはＸ線画像にダイナミックレンジ補正係数を適用することにより、Ｘ線エミッタ１４０から放射されたＸ線を受け取る検出器１４５で取得される。特定の例において、再構成された３Ｄボリュームの各々の平面は、Ｘ線画像のジオメトリに一致する。
ブロック１１４０において、合成画像生成アルゴリズムが、ボリューム／投影画像とＸ線画像との間の類似度指標に基づいて、ボリュームおよび／または投影画像から生成される。例えば、合成２Ｄ画像生成アルゴリズムは、得られる合成２Ｄ画像とＸ線画像との間の類似度指標を最小化し、あるいは他のかたちで減少させる傾向のボリュームおよび／または投影から生成される。
例えば、３Ｄボリュームの各々の平面がＸ線画像のジオメトリと一致するように、ボリュームおよびＸ線画像を解析および比較することができる。特定の例において、ボリュームは、平面内のオブジェクトが実際のサイズと比較して拡大される円錐再構成を使用して再構成される。したがって、基礎となる選択プロセスは並列であり、幾何学的変換を必要としない。ボリュームを、例えば、（ＤＢＴ中央投影とは違ってよい）コンボ−ＦＦＤＭ取得のソース位置に従って再構成することができる。
特定の例においては、合成２Ｄ画像の各ピクセルが、３Ｄボリューム内の少なくとも１つのボクセルへとマッピングされ、合成２Ｄ画像は、グラフィックディスプレイ上に提供されるグラフィカルユーザインターフェース（ＧＵＩ）を介して表示される。Ｘ線画像内の対象のオブジェクトのユーザ選択を受信し、３Ｄボリュームを通る少なくとも１つの平面を識別するために使用することができる。１つ以上の識別された平面を、グラフィカルディスプレイ上に表示することができる。特定の例においては、３Ｄボリュームから抽出された領域で合成２Ｄ画像を強化することができる。例えば、合成２Ｄ画像の３Ｄボリュームへのマッピングを、抽出された領域の位置で強化することができる。
ブロック１１５０において、生成されたアルゴリズムは、合成画像生成のモデルに展開される。例えば、合成画像生成アルゴリズムは、合成画像を生成するためにモデル４６０に展開される。
特定の例において、生成アルゴリズムは、３Ｄボリュームの領域の抽出、３Ｄボリュームから抽出された領域による合成２Ｄ画像の強化、および抽出された領域の位置による３Ｄボリュームへの合成２Ｄ画像のマッピングの強化を含む。特定の例においては、ネットワーク４６０によってもたらされる合成２Ｄ画像を、ＦＦＤＭを凌ぐように、有棘塊状物などのボリュームにおいて見ることができる情報で強化することができる。
図１２は、患者の器官などのオブジェクトを撮像するための典型的な方法１２００を表すフローチャートである。ブロック１２１０において、複数の投影画像が、第１のエネルギ投入レベルで器官および／または他のオブジェクトについて取得される。例えば、複数の２Ｄトモシンセシス投影画像が、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得される。
ブロック１２２０において、オブジェクトのＸ線画像が、第２のレベルのＸ線エネルギ投入で取得される。例えば、器官のＦＦＤＭ画像などのＸ線画像を、投影画像の取得に用いたレベルよりも高いレベルのＸ線エネルギ投入を使用して取得することができる。
ブロック１２３０において、ボリューム再構成アルゴリズムが、得られるボリューム再投影とＸ線画像との間の類似度指標に基づいて、投影画像から生成される。例えば、ボリューム再構成アルゴリズムは、得られるボリューム再投影とＸ線画像との間の類似度指標を最小化し、あるいは他のかたちで減少させる傾向の投影から生成される。
例えば、３Ｄボリュームの各々の平面がＸ線画像のジオメトリと一致するように、ボリュームおよびＸ線画像を解析および比較することができる。特定の例において、ボリュームは、平面内のオブジェクトが実際のサイズと比較して拡大される円錐再構成を使用して再構成される。したがって、基礎となる選択プロセスは並列であり、幾何学的変換を必要としない。ボリュームを、例えば、（ＤＢＴ中央投影とは違ってよい）コンボ−ＦＦＤＭ取得のソース位置に従って再構成することができる。
ブロック１２４０において、生成されたアルゴリズムは、合成画像生成のためのモデルに展開される。例えば、ボリューム再構成アルゴリズムは、トモシンセシス投影画像からボリューム再投影を生成するためにモデル４６０に展開される。
図１３Ａおよび図１３Ｂは、患者の器官などのオブジェクトを撮像するための典型的な方法１３００、１３５０を表すフローチャートである。ブロック１３１０において、複数の投影画像が、第１のエネルギ投入レベルで器官および／または他のオブジェクトについて取得される。例えば、複数の２Ｄトモシンセシス投影画像が、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得される。
ブロック１３２０において、オブジェクトのＸ線画像が、第２のレベルのＸ線エネルギ投入で取得される。例えば、器官のＦＦＤＭ画像などのＸ線画像を、投影画像の取得に用いたレベルよりも高いレベルのＸ線エネルギ投入を使用して取得することができる。
ブロック１３３０において、画像強化アルゴリズムが、アルゴリズムの出力と中央投影との間の類似度指標に基づいて、中央トモシンセシス投影画像から生成される。例えば、画像強化アルゴリズムは、アルゴリズムの出力とＸ線画像との間の類似度指標を最小化し、あるいは他のかたちで減少させる傾向の一式の投影のうちの中央トモシンセシス投影から生成される。トレーニングモデル４２０が、アルゴリズムを形成する（例えば、トレーニングおよびテストする）ために使用される。
ブロック１３４０において、生成されたアルゴリズムは、合成画像生成のためのモデルに展開される。例えば、画像強化アルゴリズムは、合成画像を生成するためにモデル４６０に展開される。
ブロック１３６０において、画像強化アルゴリズムは、一式のトモシンセシス投影へと適用される。例えば、一式のトモシンセシス投影において得られたデータが、モデル４６０にインスタンス化された画像強化アルゴリズムに従って修正される。したがって、例えば、投影のピクセルおよび／または他の強度値を、画像強化アルゴリズムを反映するモデル４６０に通すことによって修正することができる。
ブロック１３７０において、強化された３Ｄボリュームが、強化された一式のトモシンセシス投影から再構成される。例えば、モデル４６０のアルゴリズムによって強化された一式の２Ｄ投影が、３Ｄボリュームを形成するために使用される。
ブロック１３８０において、合成２Ｄ画像が、強化された投影および／またはボリュームから形成される。例えば、強化されたトモシンセシス投影および／または再構成された３Ｄボリュームから２Ｄ画像を合成して、診断画像を形成することができる。
図１４Ａおよび図１４Ｂは、患者の器官などのオブジェクトを撮像するための典型的な方法１４００、１４５０を表すフローチャートである。ブロック１４１０において、複数の投影画像が、第１のエネルギ投入レベルで器官および／または他のオブジェクトについて取得される。例えば、複数の２Ｄトモシンセシス投影画像が、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得される。
ブロック１４２０において、投影画像は、より低いエネルギ投入レベルで取得された投影画像に似るように劣化させられる。例えば、２Ｄトモシンセシス投影画像は、元の一式の投影の取得に使用された線量よりも低いＸ線の線量で取得された画像として見えるように（例えば、ノイズまたは他のフィルタなどの導入によって）劣化させられる。
ブロック１４３０において、画像強化アルゴリズムが、アルゴリズムの出力と元の一式の投影との間の類似度指標に基づいて、一式の劣化させた投影画像から生成される。例えば、画像強化アルゴリズムは、アルゴリズムの出力と元の一式のトモシンセシス投影との間の類似度指標を最小化し、あるいは他のかたちで減少させる傾向の一式の劣化させたトモシンセシス投影から生成される。トレーニングモデル４２０が、アルゴリズムを形成する（例えば、トレーニングおよびテストする）ために使用される。
ブロック１４４０において、生成されたアルゴリズムは、合成画像生成のためのモデルに展開される。例えば、画像強化アルゴリズムは、合成画像を生成するためにモデル４６０に展開される。
ブロック１４６０において、画像強化アルゴリズムは、低線量のトモシンセシス取得からの一式のトモシンセシス投影へと適用される。例えば、一式のトモシンセシス投影において得られたデータが、モデル４６０にインスタンス化された画像強化アルゴリズムに従って修正される。したがって、例えば、投影のピクセルおよび／または他の強度値を、画像強化アルゴリズムを反映するモデル４６０に通すことによって修正することができる。
ブロック１４７０において、改善された３Ｄボリュームが、強化された一式のトモシンセシス投影から再構成される。例えば、モデル４６０のアルゴリズムによって強化された一式の２Ｄ投影が、３Ｄボリュームを形成するために使用される。
ブロック１４８０において、合成２Ｄ画像が、強化された投影および／またはボリュームから形成される。例えば、強化されたトモシンセシス投影および／または再構成された３Ｄボリュームから２Ｄ画像を合成して、診断画像を形成することができる。
図１５は、患者の器官などのオブジェクトを撮像するための典型的な方法１５００を表すフローチャートである。ブロック１５１０において、複数の投影画像が、第１のエネルギ投入レベルで器官および／または他のオブジェクトについて取得される。例えば、複数の２Ｄトモシンセシス投影画像が、Ｘ線エミッタ１４０を器官に対する複数の向きへと回転させ、複数の投影画像のうちの各々の投影画像についてエミッタ１４０から第１のレベルのＸ線エネルギ投入を放射することによって取得される。
ブロック１５２０において、オブジェクトの第１のボリュームが投影画像から再構成される。例えば、器官の３Ｄボリュームを、複数の２Ｄトモシンセシス投影画像から再構成することができる。
ブロック１５３０において、投影画像は、より低いエネルギ投入レベルで取得された投影画像に似るように劣化させられる。例えば、２Ｄトモシンセシス投影画像は、元の一式の投影の取得に使用された線量よりも低いＸ線の線量で取得された画像として見えるように（例えば、ノイズまたは他のフィルタなどの導入によって）劣化させられる。
ブロック１５４０において、ボリューム再構成アルゴリズムが、アルゴリズムの再構成出力と第１のボリュームとの間の類似度指標に基づいて、劣化させられた投影画像から生成される。例えば、ボリューム再構成アルゴリズムは、再構成アルゴリズムから出力される第２のボリュームと第１のボリューム再構成との間の類似度指標を最小化し、あるいは他のかたちで減少させる傾向の劣化させられたトモシンセシス投影から生成される。トレーニングモデル４２０が、アルゴリズムを形成する（例えば、トレーニングおよびテストする）ために使用される。
ブロック１５５０において、生成されたアルゴリズムは、合成画像生成のためのモデルに展開される。例えば、ボリューム再構成アルゴリズムは、合成画像を生成するためにモデル４６０に展開される。
図１６が、図１〜図１０の典型的なシステム３００を実現するために図１１〜図１５の命令を実行することができる典型的なプロセッサプラットフォーム１６００のブロック図である。プロセッサプラットフォーム１６００は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス（例えば、携帯電話機、スマートフォン、ｉＰａｄ（商標）などのタブレット）、携帯情報端末（ＰＤＡ）、インターネット家電、ＤＶＤプレーヤ、ＣＤプレーヤ、デジタルビデオレコーダ、ブルーレイプレーヤ、ゲームコンソール、パーソナルビデオレコーダ、セットトップボックス、または任意の他の種類のコンピューティングデバイスであってよい。
図示の例のプロセッサプラットフォーム１６００は、プロセッサ１６１２を含む。図示の例のプロセッサ１６１２は、ハードウェアである。例えば、プロセッサ１６１２を、任意の所望のファミリまたは製造業者からの１つ以上の集積回路、論理回路、マイクロプロセッサ、またはコントローラによって実現することができる。
図示の例のプロセッサ１６１２は、ローカルメモリ１６１３（例えば、キャッシュ）を含む。図示の例のプロセッサ１６１２は、バス１６１８を介して揮発性メモリ１６１４および不揮発性メモリ１６１６を含む主メモリと通信する。揮発性メモリ１６１４を、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、および／または任意の他の種類のランダムアクセスメモリデバイスによって実現することができる。不揮発性メモリ１６１６を、フラッシュメモリおよび／または任意の他の所望の種類のメモリデバイスによって実現することができる。主メモリ１６１４、１６１６へのアクセスは、メモリコントローラによって制御される。
さらに、図示の例のプロセッサプラットフォーム１６００は、インターフェース回路１６２０を含む。インターフェース回路１６２０を、イーサネットインターフェース、ユニバーサルシリアルバス（ＵＳＢ）、および／またはＰＣＩエクスプレスインターフェースなどの任意の種類のインターフェース規格によって実現することができる。
図示の例においては、１つ以上の入力装置１６２２が、インターフェース回路１６２０に接続される。入力装置１６２２は、プロセッサ１６１２へのデータおよびコマンドの入力をユーザにとって可能にする。入力装置を、例えば、オーディオセンサ、マイクロホン、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイント、および／または音声認識システムによって実現することができる。
１つ以上の出力装置１６２４も、図示の例のインターフェース回路１６２０に接続される。出力装置１６２４を、例えば、ディスプレイ装置（例えば、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ、陰極線管ディスプレイ（ＣＲＴ）、タッチスクリーン、触覚出力装置、プリンタ、および／またはスピーカ）によって実現することができる。したがって、図示の例のインターフェース回路１６２０は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、またはグラフィックスドライバプロセッサを含む。
さらに、図示の例のインターフェース回路１６２０は、ネットワーク１６２６（例えば、イーサネット接続、デジタル加入者回線（ＤＳＬ）、電話回線、同軸ケーブル、携帯電話システム、など）を介した外部装置（例えば、任意の種類のコンピューティングデバイス）とのデータのやり取りを容易にするために、送信器、受信器、トランシーバ、モデム、および／またはネットワークインターフェースカードなどの通信装置を含む。
さらに、図示の例のプロセッサプラットフォーム１６００は、ソフトウェアおよび／またはデータを記憶するための１つ以上の大容量記憶装置１６２８も含む。そのような大容量記憶装置１６２８の例として、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、ＲＡＩＤシステム、およびデジタル多用途ディスク（ＤＶＤ）ドライブが挙げられる。
図１１〜図１５の符号化された命令１６３２を、大容量記憶装置１６２８、揮発性メモリ１６１４、不揮発性メモリ１６１６、ならびに／あるいはＣＤまたはＤＶＤなどの取り外し可能な有形のコンピュータ可読記憶媒体に記憶することができる。
以上から、上記開示の方法、装置、および製造品が、ＤＢＴ投影データなどの投影データからの２Ｄおよび／または３Ｄ画像の改善された画像再構成および生成を促進することを、理解できるであろう。特定の例は、利用可能な投影情報からの合成２Ｄ画像生成を促進するために、画像情報の改善されたモデリングを促進する。特定の例は、特定の方程式への依存を軽減し、代わりにモデリングおよび学習を利用して、利用可能な画像投影情報から２Ｄおよび／または３Ｄ画像を生成する。特定の例は、人工知能技術の画像再構成への改善された応用を促進する。特定の例は、画像投影データ（例えば、ＤＢＴなど）から生成された２Ｄおよび／または３Ｄ画像などの画像データのモデリング、処理、および再構成用に構成されたプロセッサの技術的改善を提供する。
例えば、ＤＢＴ／ＣＥ−ＤＢＴにおいて、再構成は、放射線科医がレビューするデータの内容に直接影響し、したがって結果としての診断に影響する。現在のアルゴリズムは、再構成されたスライスの品質を最適化する傾向（例えば、ノイズの低減、ストリーキングアーチファクトの軽減、など）を有するが、これらのアルゴリズムで導入される事前知識は、通常は、不完全な再構成データをもたらす欠陥に部分的に対処するにすぎない。さらに、これらの高度なアルゴリズムは、通常は、複雑であり、かなりの計算能力を必要とする。したがって、理想的な再構成の設計は、アルゴリズム設計者のノウハウによって制限される。しかしながら、所与のボクセルについて、再構成アルゴリズムを、単に再構成された階調レベルを投影から抽出された一式の入力階調レベルに関連付けるマッピング関数と理解することができる。
本明細書において、特定の典型的な方法、装置、および製品を開示したが、本特許の適用範囲は、これらに限定されない。むしろ反対に、本特許は、本特許の特許請求の範囲の技術的範囲に正当に含まれるすべての方法、装置、および製品を包含する。
［実施態様１］
命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１１１０）と、
前記複数の２Ｄトモシンセシス投影画像から前記器官の三次元（３Ｄ）ボリュームを再構成するステップ（１１２０）と、
第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１１３０）と、
合成２Ｄ画像生成アルゴリズムを、前記複数の二次元（２Ｄ）トモシンセシス投影画像または前記再構成された３Ｄボリュームの少なくとも一方から、前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１１４０）と、
前記合成２Ｄ画像生成アルゴリズムをインスタンス化するモデルを展開するステップ（１１５０）と
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
［実施態様２］
前記Ｘ線画像は、前記複数の２Ｄトモシンセシス投影画像のジオメトリにフィットするように位置合わせされる、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様３］
前記器官の前記複数の２Ｄトモシンセシス投影画像および前記器官の前記Ｘ線画像は、前記器官の同じ圧迫の最中に取得される、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様４］
前記複数の２Ｄトモシンセシス投影画像および前記Ｘ線画像はさらに、前記Ｘ線エミッタから放射されたＸ線を受け取る検出器にて取得され、
前記命令は、実行時に、前記少なくとも１つのプロセッサに、
前記複数の２Ｄ投影画像または前記Ｘ線画像の少なくとも一方にダイナミックレンジ補正係数を適用するステップ
をさらに実行させる、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様５］
前記再構成された３Ｄボリュームの各々の平面は、前記Ｘ線画像のジオメトリに一致する、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様６］
前記命令は、実行時に、前記少なくとも１つのプロセッサに、
前記合成２Ｄ画像の各ピクセルを前記再構成された３Ｄボリューム内の少なくとも１つのボクセルにマッピングするステップと、
前記合成２Ｄ画像をグラフィカルディスプレイ上に生成されたグラフィカルユーザインターフェース（ＧＵＩ）に表示するステップと、
前記Ｘ線画像内の対象のオブジェクトのユーザ選択を受け付けるステップと、
前記３Ｄボリュームを通る少なくとも１つの平面を識別するステップと、
前記少なくとも１つの識別された平面を前記グラフィカルディスプレイ上に表示するステップと
をさらに実行させる、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様７］
前記命令は、実行時に、前記少なくとも１つのプロセッサに、
前記再構成された３Ｄボリュームの領域を抽出するステップと、
前記再構成された３Ｄボリュームから抽出された前記領域で前記合成２Ｄ画像を強化するステップと、
前記抽出された領域の位置で前記再構成された３Ｄボリュームへの前記合成２Ｄ画像のマッピングを強化するステップと
をさらに実行させる、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様８］
前記命令は、実行時に、前記少なくとも１つのプロセッサに、
前記再構成された３Ｄボリュームの領域を抽出するステップと、
前記再構成された３Ｄボリュームから抽出された前記領域で前記Ｘ線画像を強化するステップと
をさらに実行させ、
前記合成２Ｄ画像生成アルゴリズムは、前記再構成された３Ｄボリュームから、前記合成２Ｄ画像と前記強化されたＸ線画像との間の類似度指標に基づいて生成される、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様９］
前記Ｘ線画像を取得するためのエネルギは、前記複数の二次元（２Ｄ）トモシンセシス投影画像を取得するためのエネルギよりも大きい、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１０］
前記合成２Ｄ画像生成アルゴリズムを生成するステップは、前記合成２Ｄ画像生成アルゴリズムが前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標を最小化する傾向であるように、トレーニングモデルを使用して前記合成２Ｄ画像生成アルゴリズムを決定するステップを含む、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１１］
前記モデルは、人工ニューラルネットワークモデルを含む、実施態様１に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１２］
命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１２１０）と、
第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１２２０）と、
ボリューム再構成アルゴリズムを、前記複数の二次元（２Ｄ）トモシンセシス投影画像から、少なくとも前記ボリューム再投影と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１２３０）と、
前記ボリューム再構成アルゴリズムをインスタンス化するモデルを展開するステップ（１２４０）と
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１３］
前記ボリューム再構成アルゴリズムを生成するステップは、前記ボリューム再構成アルゴリズムが前記ボリューム再構成アルゴリズムを使用して形成されるボリューム再投影と前記Ｘ線画像との間の前記類似度指標を最小化する傾向であるように、トレーニングモデルを使用して前記ボリューム再構成アルゴリズムを決定するステップを含む、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１４］
前記Ｘ線画像は、前記複数の２Ｄトモシンセシス投影画像のジオメトリにフィットするように位置合わせされる、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１５］
前記器官の前記複数の２Ｄトモシンセシス投影画像および前記器官の前記Ｘ線画像は、前記器官の同じ圧迫の最中に取得される、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１６］
前記複数の２Ｄトモシンセシス投影画像および前記Ｘ線画像はさらに、前記Ｘ線エミッタから放射されたＸ線を受け取る検出器にて取得され、
前記命令は、実行時に、前記少なくとも１つのプロセッサに、
前記複数の２Ｄ投影画像または前記Ｘ線画像の少なくとも一方にダイナミックレンジ補正係数を適用するステップ
をさらに実行させる、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１７］
前記ボリューム再投影の各々の平面は、前記Ｘ線画像のジオメトリに一致する、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１８］
前記モデルは、人工ニューラルネットワークモデルを含む、実施態様１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様１９］
命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１３１０）と、
第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１３２０）と、
画像強化アルゴリズムを、前記複数の２Ｄトモシンセシス投影画像からの中央トモシンセシス投影から、前記画像強化アルゴリズムの出力と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１３３０）と、
前記画像強化アルゴリズムをインスタンス化するモデルを展開するステップ（１３４０）と
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
［実施態様２０］
前記画像強化アルゴリズムを生成するステップは、前記画像強化アルゴリズムを前記画像強化アルゴリズムの前記出力と前記Ｘ線画像との間の前記類似度指標を最小化する傾向の前記中央トモシンセシス投影から生成するステップを含む、実施態様１９に記載の少なくとも１つのコンピュータ可読記憶媒体。
［実施態様２１］
命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１４１０）と、
前記複数の２Ｄ投影画像を劣化させ、前記第１のレベルのＸ線エネルギ投入よりも低いレベルのＸ線エネルギ投入で取得されたように見える一式の劣化させたトモシンセシス投影画像を形成するステップ（１４２０）と、
画像強化アルゴリズムを、前記画像強化アルゴリズムの出力と前記元の投影との間の類似度指標を最小化する傾向の前記一式の劣化させたトモシンセシス投影画像から生成するステップ（１４３０）と、
前記画像強化アルゴリズムをインスタンス化するモデルを展開するステップ（１４４０）と
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
［実施態様２２］
命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１５１０）と、
前記複数の２Ｄトモシンセシス投影画像から前記器官の元の三次元（３Ｄ）ボリュームを再構成するステップ（１５２０）と、
前記複数の２Ｄ投影画像を劣化させ、前記第１のレベルのＸ線エネルギ投入よりも低いレベルのＸ線エネルギ投入で取得されたように見える一式の劣化させたトモシンセシス投影画像を形成するステップ（１５３０）と、
ボリューム再構成アルゴリズムを、前記ボリューム再構成アルゴリズムの出力と前記元の３Ｄボリュームとの間の類似度指標を最小化する傾向の前記一式の劣化させたトモシンセシス投影画像から生成するステップ（１５４０）と、
前記ボリューム再構成アルゴリズムをインスタンス化するモデルを展開するステップ（１５５０）と
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
［実施態様２３］
前記再構成された３Ｄボリュームから抽出された前記領域は、オペレータまたはコンピュータ支援検出システムの少なくとも一方によってもたらされる、実施態様８に記載の少なくとも１つのコンピュータ可読記憶媒体。
１００ 撮像システム
１０１ 投影ビュー
１０２ 投影ビュー
１０３ 投影ビュー
１０４ 投影ビュー
１０５ ゼロ投影
１０６ 投影ビュー
１０７ 投影ビュー
１０８ 投影ビュー
１０９ 投影ビュー
１３１ 点状のオブジェクト
１３２ 対象のオブジェクト
１３３ 圧迫パドル
１４０ Ｘ線ビームソース、Ｘ線エミッタ、Ｘ線ソース
１４０’ Ｘ線ソース
１４０’’ Ｘ線ソース
１４１ 方向
１４２ 方向
１４３ ゼロ方向
１４４ アーム
１４５ 検出器
１５０ 処理ユニット
１５５ データ取得ライン
１６０ メモリユニット
１６５ アーカイブライン
１７０ ディスプレイユニット、ディスプレイ
１８０ ユーザインターフェース
１８１ マンモグラフィ技術者
１８５ 信号ライン
２０２ 下部支持体
２０４ 圧迫支持体
３００ 画像処理システム
３１０ 画像取得ユニット
３２０ データストア
３３０ トレーナ
３４０ モデラ
３５０ 出力プロセッサ
３６０ フィードバックユニット
４１０ 入力プロセッサ
４２０ トレーニングネットワーク
４２９ ネットワーク
４３０ 出力検証器
４４０ フィードバックプロセッサ
４５０ プリプロセッサ
４６０ 展開されたモデル、ネットワークモデル
４７０ ポストプロセッサ
５００ 深層学習ニューラルネットワーク
５１０ 入力
５１２ 入力
５１４ 入力
５１６ 入力
５２０ 入力層、第１の層
５２２ ノード
５２４ ノード
５２６ ノード
５３０ ニューラル接続
５３２ 接続
５３４ 接続
５４０ 隠れ層、第２の層
５４２ ノード
５４４ ノード
５４６ ノード
５４８ ノード
５５０ ニューラル接続
５５２ 接続
５５４ 接続
５６０ 隠れ層、第３の層
５６２ ノード
５６４ ノード
５６６ ノード
５６８ ノード
５７０ ニューラル接続
５７２ 接続
５７４ 接続
５８０ 出力層
５８２ 出力ノード
５９０ 出力
６００ 畳み込みニューラルネットワーク、畳み込み
６０２ 入力の一部またはウィンドウ
６０４ 畳み込み
６０６ 特徴マップ
６１０ 特徴マップ、入力
６１２ 畳み込み
６１４ 特徴マップ
６１６ サブサンプリング
６１８ 特徴マップ
６２０ 畳み込み
６２２ 分類層
６２４ 出力層
６２６ 接続
７００ 画像解析畳み込みニューラルネットワーク
７０２ 入力画像データ
７０４ 畳み込み層
７１０ 特徴
７１２ 特徴
７１４ 特徴
７１６ 特徴
７１８ 特徴
７２０ 特徴
７２２ 特徴
７３０ 画像、第２の畳み込み層
７３２ 画像
７３４ 画像
７３６ 画像
７３８ 画像
７４０ 画像
７４２ 画像
７４４ 画像
７４６ 画像
７４８ 画像
７５０ 部分
７５２ 部分
７５４ 部分
８００ 深層学習ネットワークの適用の構成、パッケージ
８１０ 生データ、入力定義、入力、生画像データ
８２０ 深層学習ネットワーク
８３０ 画像、出力定義
９００ トレーニング
９１０ ＤＢＴ取得
９２０ ボリューム画像データ
９３０ 最大プーリング層
９４０ 完全接続層
９５０ 出力
９６０ ＦＦＤＭ画像
９７０ 真のＦＦＤＭコンボ取得
１０１０ 追加のＤＢＴ取得
１０２０ 新たなボリューム
１０３０ 合成２Ｄ画像
１１００ 方法
１２００ 方法
１３００ 方法
１３５０ 方法
１４００ 方法
１４５０ 方法
１５００ 方法
１６００ プロセッサプラットフォーム
１６１２ プロセッサ
１６１３ ローカルメモリ
１６１４ 揮発性メモリ
１６１６ 不揮発性メモリ
１６１８ バス
１６２０ インターフェース回路
１６２２ 入力装置
１６２４ 出力装置
１６２６ ネットワーク
１６２８ 大容量記憶装置
１６３２ 符号化された命令
Ｏ 器官、オブジェクト

Claims (15)

  1. 命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
    前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
    器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１１１０）と、
    前記複数の２Ｄトモシンセシス投影画像から前記器官の三次元（３Ｄ）ボリュームを再構成するステップ（１１２０）と、
    第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１１３０）と、
    合成２Ｄ画像生成アルゴリズムを、前記複数の二次元（２Ｄ）トモシンセシス投影画像または前記再構成された３Ｄボリュームの少なくとも一方から、前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１１４０）と、
    前記合成２Ｄ画像生成アルゴリズムをインスタンス化するモデルを展開するステップ（１１５０）と
    を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
  2. 前記Ｘ線画像は、前記複数の２Ｄトモシンセシス投影画像のジオメトリにフィットするように位置合わせされる、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  3. 前記器官の前記複数の２Ｄトモシンセシス投影画像および前記器官の前記Ｘ線画像は、前記器官の同じ圧迫の最中に取得される、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  4. 前記複数の２Ｄトモシンセシス投影画像および前記Ｘ線画像はさらに、前記Ｘ線エミッタから放射されたＸ線を受け取る検出器にて取得され、
    前記命令は、実行時に、前記少なくとも１つのプロセッサに、
    前記複数の２Ｄ投影画像または前記Ｘ線画像の少なくとも一方にダイナミックレンジ補正係数を適用するステップ
    をさらに実行させる、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  5. 前記再構成された３Ｄボリュームの各々の平面は、前記Ｘ線画像のジオメトリに一致する、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  6. 前記命令は、実行時に、前記少なくとも１つのプロセッサに、
    前記合成２Ｄ画像の各ピクセルを前記再構成された３Ｄボリューム内の少なくとも１つのボクセルにマッピングするステップと、
    前記合成２Ｄ画像をグラフィカルディスプレイ上に生成されたグラフィカルユーザインターフェース（ＧＵＩ）に表示するステップと、
    前記Ｘ線画像内の対象のオブジェクトのユーザ選択を受け付けるステップと、
    前記３Ｄボリュームを通る少なくとも１つの平面を識別するステップと、
    前記少なくとも１つの識別された平面を前記グラフィカルディスプレイ上に表示するステップと
    をさらに実行させる、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  7. 前記命令は、実行時に、前記少なくとも１つのプロセッサに、
    前記再構成された３Ｄボリュームの領域を抽出するステップと、
    前記再構成された３Ｄボリュームから抽出された前記領域で前記合成２Ｄ画像を強化するステップと、
    前記抽出された領域の位置で前記再構成された３Ｄボリュームへの前記合成２Ｄ画像のマッピングを強化するステップと
    をさらに実行させる、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  8. 前記命令は、実行時に、前記少なくとも１つのプロセッサに、
    前記再構成された３Ｄボリュームの領域を抽出するステップと、
    前記再構成された３Ｄボリュームから抽出された前記領域で前記Ｘ線画像を強化するステップと
    をさらに実行させ、
    前記合成２Ｄ画像生成アルゴリズムは、前記再構成された３Ｄボリュームから、前記合成２Ｄ画像と前記強化されたＸ線画像との間の類似度指標に基づいて生成される、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  9. 前記Ｘ線画像を取得するためのエネルギは、前記複数の二次元（２Ｄ）トモシンセシス投影画像を取得するためのエネルギよりも大きい、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  10. 前記合成２Ｄ画像生成アルゴリズムを生成するステップは、前記合成２Ｄ画像生成アルゴリズムが前記合成２Ｄ画像と前記Ｘ線画像との間の類似度指標を最小化する傾向であるように、トレーニングモデルを使用して前記合成２Ｄ画像生成アルゴリズムを決定するステップを含む、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  11. 前記モデルは、人工ニューラルネットワークモデルを含む、請求項１に記載の少なくとも１つのコンピュータ可読記憶媒体。
  12. 命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
    前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
    器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の２Ｄトモシンセシス投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１２１０）と、
    第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１２２０）と、
    ボリューム再構成アルゴリズムを、前記複数の二次元（２Ｄ）トモシンセシス投影画像から、少なくとも前記ボリューム再投影と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１２３０）と、
    前記ボリューム再構成アルゴリズムをインスタンス化するモデルを展開するステップ（１２４０）と
    を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
  13. 前記ボリューム再構成アルゴリズムを生成するステップは、前記ボリューム再構成アルゴリズムが前記ボリューム再構成アルゴリズムを使用して形成されるボリューム再投影と前記Ｘ線画像との間の前記類似度指標を最小化する傾向であるように、トレーニングモデルを使用して前記ボリューム再構成アルゴリズムを決定するステップを含む、請求項１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
  14. 前記複数の２Ｄトモシンセシス投影画像および前記Ｘ線画像はさらに、前記Ｘ線エミッタから放射されたＸ線を受け取る検出器にて取得され、
    前記命令は、実行時に、前記少なくとも１つのプロセッサに、
    前記複数の２Ｄ投影画像または前記Ｘ線画像の少なくとも一方にダイナミックレンジ補正係数を適用するステップ
    をさらに実行させる、請求項１２に記載の少なくとも１つのコンピュータ可読記憶媒体。
  15. 命令を含んでいる少なくとも１つのコンピュータ可読記憶媒体であって、
    前記命令は、実行時に、少なくとも１つのプロセッサに、少なくとも
    器官の複数の二次元（２Ｄ）トモシンセシス投影画像を、Ｘ線エミッタを前記器官に対する複数の向きへと回転させ、前記複数の投影画像の各々の投影画像について前記エミッタから第１のレベルのＸ線エネルギ投入を放射することによって取得するステップ（１３１０）と、
    第２のレベルのＸ線エネルギ投入で前記器官のＸ線画像を取得するステップ（１３２０）と、
    画像強化アルゴリズムを、前記複数の２Ｄトモシンセシス投影画像からの中央トモシンセシス投影から、前記画像強化アルゴリズムの出力と前記Ｘ線画像との間の類似度指標に基づいて生成するステップ（１３３０）と、
    前記画像強化アルゴリズムをインスタンス化するモデルを展開するステップ（１３４０）と
    を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
JP2019222767A 2018-12-28 2019-12-10 深層学習ベースの画像再構成のためのシステムおよび方法 Active JP7237809B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/235,046 2018-12-28
US16/235,046 US11227418B2 (en) 2018-12-28 2018-12-28 Systems and methods for deep learning-based image reconstruction

Publications (2)

Publication Number Publication Date
JP2020116378A true JP2020116378A (ja) 2020-08-06
JP7237809B2 JP7237809B2 (ja) 2023-03-13

Family

ID=69055800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222767A Active JP7237809B2 (ja) 2018-12-28 2019-12-10 深層学習ベースの画像再構成のためのシステムおよび方法

Country Status (4)

Country Link
US (2) US11227418B2 (ja)
EP (1) EP3675043B1 (ja)
JP (1) JP7237809B2 (ja)
CN (1) CN111383338B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075728A (ko) * 2020-11-30 2022-06-08 동의대학교 산학협력단 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679384B2 (en) 2017-09-29 2020-06-09 General Electric Company Systems and methods for deep learning-based image reconstruction
US11227418B2 (en) * 2018-12-28 2022-01-18 General Electric Company Systems and methods for deep learning-based image reconstruction
JP7387270B2 (ja) * 2019-03-06 2023-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
JP7313192B2 (ja) * 2019-05-27 2023-07-24 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、ｘ線ｃｔ装置
CN111956248A (zh) * 2020-09-03 2020-11-20 上海联影医疗科技股份有限公司 一种x射线成像方法、装置、设备及存储介质
CN111915511B (zh) * 2020-07-06 2024-08-02 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
CN112150600B (zh) * 2020-09-24 2023-03-17 上海联影医疗科技股份有限公司 一种容积重建图像生成方法、装置、系统及存储介质
US20220189011A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation End-to-end training for a three-dimensional tomography reconstruction pipeline
US20230248323A1 (en) * 2022-02-09 2023-08-10 GE Precision Healthcare LLC Fast and Low Memory Usage Convolutional Neural Network for Tomosynthesis Data Processing and Feature Detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128576A (ja) * 2012-11-30 2014-07-10 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2016533803A (ja) * 2013-10-24 2016-11-04 アンドリュー ピー． スミス， Ｘ線誘導胸部生検をナビゲートするためのシステムおよび方法
JP2016534802A (ja) * 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療画像を表示する方法及び装置
JP2017143943A (ja) * 2016-02-16 2017-08-24 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US20180130201A1 (en) * 2016-11-10 2018-05-10 General Electric Company Combined medical imaging

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5413477A (en) 1992-10-16 1995-05-09 Gas Research Institute Staged air, low NOX burner with internal recuperative flue gas recirculation
US6990222B2 (en) 2001-11-21 2006-01-24 Arnold Ben A Calibration of tissue densities in computerized tomography
US8571289B2 (en) * 2002-11-27 2013-10-29 Hologic, Inc. System and method for generating a 2D image from a tomosynthesis data set
US7831296B2 (en) 2002-11-27 2010-11-09 Hologic, Inc. X-ray mammography with tomosynthesis
WO2005009206A2 (en) 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
US7653229B2 (en) 2003-12-23 2010-01-26 General Electric Company Methods and apparatus for reconstruction of volume data from projection data
US7323688B2 (en) 2004-06-29 2008-01-29 Siemens Medical Solutions Usa, Inc. Nuclear imaging system using rotating scintillation bar detectors with slat collimation and method for imaging using the same
US8989349B2 (en) 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
EP1882449A4 (en) * 2005-05-18 2010-05-05 Hitachi Medical Corp RADIOGRAPHY DEVICE AND IMAGE PROCESSING PROGRAM
JP4820666B2 (ja) * 2006-03-01 2011-11-24 株式会社東芝 Ｘ線撮像装置及びその方法
US7630533B2 (en) * 2007-09-20 2009-12-08 Hologic, Inc. Breast tomosynthesis with display of highlighted suspected calcifications
US8559671B2 (en) 2008-12-18 2013-10-15 The Regents Of The University Of California Training-free generic object detection in 2-D and 3-D using locally adaptive regression kernels
US20140072108A1 (en) 2010-07-16 2014-03-13 David P. Rohler Methods and apparatus for extended low contrast detectability for radiographic imaging systems
US20110142316A1 (en) 2009-10-29 2011-06-16 Ge Wang Tomography-Based and MRI-Based Imaging Systems
WO2011100511A2 (en) * 2010-02-11 2011-08-18 University Of Michigan Methods for microcalification detection of breast cancer on digital tomosynthesis mammograms
WO2011106433A1 (en) * 2010-02-24 2011-09-01 Accuray Incorporated Gantry image guided radiotherapy system and related treatment delivery methods
US20150213633A1 (en) 2011-04-06 2015-07-30 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for providing a panoramic cone beam computed tomography (cbct)
US20130051516A1 (en) * 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
US10734116B2 (en) 2011-10-04 2020-08-04 Quantant Technology, Inc. Remote cloud based medical image sharing and rendering semi-automated or fully automated network and/or web-based, 3D and/or 4D imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard X-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
US9449403B2 (en) 2011-10-19 2016-09-20 Siemens Aktiengesellschaft Out of plane artifact reduction in digital breast tomosynthesis and CT
JP2015520846A (ja) 2012-05-01 2015-07-23 アナロジック コーポレイション Ｃｔ密度画像とスパースマルチエネルギーデータを用いてボクセルセットのｚ−有効値を決定する方法およびシステム｛ｄｅｔｅｒｍｉｎａｔｉｏｎｏｆｚ−ｅｆｆｅｃｔｉｖｅｖａｌｕｅｆｏｒｓｅｔｏｆｖｏｘｅｌｓｕｓｉｎｇｃｔｄｅｎｓｉｔｙｉｍａｇｅａｎｄｓｐａｒｓｅｍｕｌｔｉ−ｅｎｅｒｇｙｄａｔａ｝
US10433740B2 (en) 2012-09-12 2019-10-08 Heartflow, Inc. Systems and methods for estimating ischemia and blood flow characteristics from vessel geometry and physiology
US9117262B2 (en) * 2012-11-30 2015-08-25 Adobe Systems Incorporated Learned piece-wise patch regression for image enhancement
US9494534B2 (en) 2012-12-21 2016-11-15 Carestream Health, Inc. Material differentiation with phase contrast imaging
US8855395B2 (en) 2013-01-02 2014-10-07 Carestream Health, Inc. Conditional likelihood material decomposition and methods of using the same
US9129362B2 (en) * 2013-05-22 2015-09-08 Siemens Aktiengesellschaft Semantic navigation and lesion mapping from digital breast tomosynthesis
KR102264462B1 (ko) * 2013-10-09 2021-06-15 홀로직, 인크. 편평화된 유방의 두께 방향을 포함하는 공간 해상도를 향상시키는 x선 유방 영상합성
US10610182B2 (en) 2014-01-15 2020-04-07 Alara Systems, Inc Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes
US9730660B2 (en) 2014-01-15 2017-08-15 Alara Systems, Inc. Converting low-dose to higher dose mammographic images through machine-learning processes
DE102015204957A1 (de) * 2014-03-27 2015-10-01 Siemens Aktiengesellschaft Bildgebendes Tomosynthesesystem, insbesondere Mammographiesystem
WO2015195570A2 (en) 2014-06-16 2015-12-23 Loma Linda University Radiography and computed tomography with high-energy electron beams
FR3022792A1 (fr) 2014-06-25 2016-01-01 Commissariat Energie Atomique Procede de production d'un fantome physique radiometrique d'un organisme biologique et fantome physique produit par ce procede.
US10022098B2 (en) * 2014-07-09 2018-07-17 Siemens Aktiengesellschaft Method and device for generating a low-dose X-ray image preview, imaging system and computer program product
GB2533632B (en) 2014-12-24 2018-01-03 Gen Electric Method and system for obtaining low dose tomosynthesis and material decomposition images
GB2533801B (en) 2014-12-31 2018-09-12 Gen Electric Method and system for tomosynthesis projection images enhancement
US10674973B2 (en) 2015-04-24 2020-06-09 Rush University Medical Center Radiation therapy system and methods of use thereof
US9934566B2 (en) * 2015-07-14 2018-04-03 Siemens Healthcare Gmbh 3-D vessel tree surface reconstruction method
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
US9984478B2 (en) * 2015-07-28 2018-05-29 PME IP Pty Ltd Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images
US10368822B2 (en) * 2015-08-31 2019-08-06 General Electric Company Iterative X-ray imaging optimization method and system
US9998487B2 (en) * 2016-04-25 2018-06-12 General Electric Company Domain level threat detection for industrial asset control system
DE102016215109A1 (de) * 2016-08-12 2018-02-15 Siemens Healthcare Gmbh Verfahren und Datenverarbeitungseinheit zum Optimieren eines Bildrekonstruktionsalgorithmus
US10679384B2 (en) 2017-09-29 2020-06-09 General Electric Company Systems and methods for deep learning-based image reconstruction
US11227418B2 (en) * 2018-12-28 2022-01-18 General Electric Company Systems and methods for deep learning-based image reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128576A (ja) * 2012-11-30 2014-07-10 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2016533803A (ja) * 2013-10-24 2016-11-04 アンドリュー ピー． スミス， Ｘ線誘導胸部生検をナビゲートするためのシステムおよび方法
JP2016534802A (ja) * 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療画像を表示する方法及び装置
JP2017143943A (ja) * 2016-02-16 2017-08-24 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US20180130201A1 (en) * 2016-11-10 2018-05-10 General Electric Company Combined medical imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075728A (ko) * 2020-11-30 2022-06-08 동의대학교 산학협력단 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법
KR102615255B1 (ko) 2020-11-30 2023-12-19 동의대학교 산학협력단 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법

Also Published As

Publication number Publication date
US20200211240A1 (en) 2020-07-02
EP3675043B1 (en) 2024-01-24
JP7237809B2 (ja) 2023-03-13
EP3675043A1 (en) 2020-07-01
CN111383338B (zh) 2023-11-03
US20220051456A1 (en) 2022-02-17
CN111383338A (zh) 2020-07-07
US11227418B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
JP7237809B2 (ja) 深層学習ベースの画像再構成のためのシステムおよび方法
KR102229853B1 (ko) 환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들
JP7169986B2 (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
CN110121749B (zh) 用于图像采集的深度学习医疗系统和方法
CN110621231B (zh) 用于分层次多级特征图像合成和表示的系统以及方法
JP5138910B2 (ja) 投影画像を用いた３ｄｃａｄのシステム及び方法
US11210779B2 (en) Detection and quantification for traumatic bleeding using dual energy computed tomography
US10448915B2 (en) System and method for characterizing anatomical features
US7978886B2 (en) System and method for anatomy based reconstruction
US20060210131A1 (en) Tomographic computer aided diagnosis (CAD) with multiple reconstructions
CN111563523A (zh) 利用机器训练的异常检测的copd分类
CN111540025A (zh) 预测用于图像处理的图像
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
JP2022502177A (ja) 高密度要素抑制による合成乳房組織画像発生のためのシステムおよび方法
EP3928285A1 (en) Systems and methods for calcium-free computed tomography angiography
US20230394717A1 (en) System and Method for Improved Artefact Correction in Reconstructed 2D/3D Images
CN114730476A (zh) 有限角度重建的网络确定
Sumathi et al. Harnessing Deep Learning (DL) for Image Inpainting in Healthcare System-Methods and Challenges
US20240095907A1 (en) Deep learning based systems and methods for detecting breast diseases
US20240193763A1 (en) System and Method for Projection Enhancement for Synthetic 2D Image Generation
EP4350629A1 (en) Artifact-driven data synthesis in computed tomography
Sumathi et al. 10 Harnessing Deep
Prabhavalkar et al. Lung Nodule Detection and Classification: Methods and Challenges
Jabbar et al. Investigating Deep Learning Methods for Detecting Lung Adenocarcinoma on the TCIA Dataset
CN117078529A (zh) 消除次生伪影的处理计算机断层图像的方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R150 Certificate of patent or registration of utility model

Ref document number: 7237809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150