JP2020525127A - 仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体 - Google Patents
仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体 Download PDFInfo
- Publication number
- JP2020525127A JP2020525127A JP2019571470A JP2019571470A JP2020525127A JP 2020525127 A JP2020525127 A JP 2020525127A JP 2019571470 A JP2019571470 A JP 2019571470A JP 2019571470 A JP2019571470 A JP 2019571470A JP 2020525127 A JP2020525127 A JP 2020525127A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- information
- layers
- cystic
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
医用イメージング・データを使用して、嚢胞性病変についてスクリーニングするためのシステム、方法、およびコンピュータ・アクセス可能媒体は、例えば、1人の患者の器官に対する第1のイメージング情報を受信することと、嚢胞性病変を指し示す組織タイプを含む、複数の組織タイプを識別するために、第1のイメージング情報に対してセグメンテーション動作を遂行することにより第2のイメージング情報を生成することと、第2のイメージング情報内の嚢胞性病変を識別することと、第1の分類器および第2の分類器を嚢胞性病変に適用して、複数の嚢胞性病変タイプのうちの1つまたは複数へと嚢胞性病変を分類することとを含むことができる。第1の分類器は、ランダム・フォレスト分類器であり得るものであり、第2の分類器は、畳み込みニューラル・ネットワーク分類器であり得る。畳み込みニューラル・ネットワークは、少なくとも6つの畳み込み層を含むことができ、少なくとも6つの畳み込み層は、最大プーリング層と、ドロップアウト層と、全結合層とを含むことができる。【選択図】図1
Description
関連出願の相互参照
本出願は、その開示全体が参照により本明細書に組み込まれている、2017年6月26日に出願された米国特許出願第62/524,819号に関し、その優先権を主張するものである。
本出願は、その開示全体が参照により本明細書に組み込まれている、2017年6月26日に出願された米国特許出願第62/524,819号に関し、その優先権を主張するものである。
連邦政府により資金提供を受けた研究に関する記載
本発明は、米国国立科学財団により授与された、交付番号CNS−0959979、IIP 1069147、およびCNS−1302246のもとでの政府助成によって為されたものである。政府は、本発明において所定の権利を有する。
本発明は、米国国立科学財団により授与された、交付番号CNS−0959979、IIP 1069147、およびCNS−1302246のもとでの政府助成によって為されたものである。政府は、本発明において所定の権利を有する。
本開示は、一般に、医用イメージングに関し、より詳細には、仮想膵臓撮影法のための例示的なシステム、方法、およびコンピュータ・アクセス可能媒体の例示的な実施形態に関する。
膵臓がんまたは膵管腺がん(「PDAC」)は、公式に知られ得るように、きわめて不健康な予後、および、9%未満の総体的な5年生存率を伴う、すべてのがんのうちの最も致命的なものの1つであり得る。この疾患の特異的な早期症候はなく、症例の大部分は、がんが膵臓を越えて広がった後の進行期において診断される。
PDACの前兆の早期検出は、浸潤性PDACの発病を防止する機会を供し得る。PDACの3つの前兆のうちの2つ、膵管内乳頭粘液性腫瘍(「IPMN」)および粘液性嚢胞腫瘍(「MCN」)は、膵嚢胞性病変を形成する。これらの嚢胞性病変は、一般的なものであり、コンピュータ断層撮影法(「CT」)および磁気共鳴イメージング(「MRI」)などの現在利用可能なイメージング・モダリティによって検出するのが容易であり得る。IPMNおよびMCNは、相対的に容易に識別され、PDACの早期識別に対する潜在的可能性を供し得る。しかしながら、多くの他のタイプの膵嚢胞性病変が存在するため、問題が複雑化することがある。これらの病変は、外科的介入を要さない、漿液性嚢胞腺腫(「SCA」)などの、全体として良性または非がん性の嚢胞から、悪性であり得るものであり、外科的切除を受けるべきである、充実性偽乳頭状腫瘍(「SPN」)までの範囲に及ぶ。これらの問題により、嚢胞のタイプを正しく識別して、適切な差配を確実にすることの重要性が強調される。(例えば、参考文献1を参照されたい)。
膵嚢胞性病変の大多数は、CTスキャンにおいて偶然に発見され得るものであり、そのことが、CTを、診断のためのイメージング・データの第1の利用可能なソースにする。患者の年齢および性別などの一般的な人口統計的特性に加えて、CTイメージング所見の組み合わせが、異なるタイプの膵嚢胞性病変を判別するために使用され得る。(例えば、参考文献1を参照されたい)。しかしながら、膵嚢胞性病変の放射線学的画像の手作業での検討により、嚢胞性病変タイプを正しく識別することは、経験豊富な放射線科医にとってさえ難題であり得る。最近の研究(例えば、参考文献2を参照されたい)は、腹部イメージングにおいて10年より多い経験を伴う2人の読み取る人により遂行された、CTスキャンに関しての130の膵嚢胞性病変の判別に対する67〜70%の正確性を報告した。
コンピュータ支援診断(「CAD」)手順の使用は、放射線科医を援助することのみではなく、さらには、CTスキャンにおいて識別される様々な膵嚢胞性病変の区別の信頼性および客観性を向上させることができる。多くの手順が、様々な器官においての良性および悪性の腫瘤の非侵襲性分析に対して提案されたが、膵嚢胞性病変タイプを分類するためのCAD手順は存しない。
したがって、本明細書において上記で説明された欠陥のうちの少なくとも一部を克服することができる、仮想膵臓撮影法のための例示的なシステム、方法、およびコンピュータ・アクセス可能媒体を提供することは有益であり得る。
(例えば、嚢胞性病変のセグメンテーションおよび視覚化のために)医用イメージング・データを使用して、嚢胞についてスクリーニングするためのシステム、方法、およびコンピュータ・アクセス可能媒体は、例えば、1人の患者の器官に対する第1のイメージング情報を受信することと、嚢胞を指し示す組織タイプを含む、複数の組織タイプを識別するために、第1のイメージング情報に対してセグメンテーション動作を遂行することにより第2のイメージング情報を生成することと、第2のイメージング情報内の嚢胞を識別することと、第1の分類器および第2の分類器を嚢胞に適用して、複数の嚢胞性病変タイプのうちの1つまたは複数へと嚢胞を分類することとを含むことができる。第1の分類器は、ランダム・フォレスト分類器であり得るものであり、第2の分類器は、畳み込みニューラル・ネットワーク分類器であり得る。畳み込みニューラル・ネットワークは、少なくとも6つの畳み込み層を含むことができ、少なくとも6つの畳み込み層は、最大プーリング層と、ドロップアウト層と、全結合層とを含むことができる。
本開示の一部の例示的な実施形態において、最大プーリング層は、3つの最大プーリング層を含むことができ、ドロップアウト層は、2つのドロップアウト層を含むことができ、全結合層は、3つの全結合層を含むことができる。3つの全結合層は、2つのドロップアウト層を含むことができる。第2のイメージング情報は、第1のイメージング情報を、嚢胞性病変を視覚化することにおいての使用のために前景および背景へとセグメンテーションすることにより生成され得る。前景は、膵臓腺を含むことができ、背景は、複数のさらなる嚢胞性病変を含むことができる。第2の情報は、嚢胞性病変を視覚化するために使用され得る前景および背景に対する複数のセグメンテーション輪郭を生成することにより生成され得る。第1の分類器は、患者に対する特性を分析することにより適用され得るものであり、特性は、(i)患者の年齢、(ii)患者の性別、(iii)膵臓腺においての嚢胞の場所、(iv)嚢胞の形状、または(iv)嚢胞の強度特性を含むことができる。
本開示の所定の例示的な実施形態において、特性は、前景のセグメンテーション輪郭または強度特性に基づいて生成され得る。セグメンテーション動作は、自動化されたセグメンテーション手順であり得る。第2のイメージング情報は、第1のイメージング情報を、ユーザに(例えば、視覚化のために)表示することと、第1のイメージング情報を、ユーザから受信される入力に基づいてセグメンテーションすることとにより生成され得る。第1の分類器は、クラス確率の第1のセットを生成するために、嚢胞に適用され得るものであり、第2の分類器は、クラス確率の第2のセットを生成するために、嚢胞に適用され得る。嚢胞は、ベイジアン組み合わせをクラス確率の第1のセット、および、クラス確率の第2のセットに適用することにより分類され得る。
本開示の一部の例示的な実施形態において、嚢胞は、(i)膵管内乳頭粘液性腫瘍、(ii)粘液性嚢胞腫瘍、(iii)漿液性嚢胞腺腫、または(iv)充実性偽乳頭状腫瘍と分類され得る。分類は、嚢胞が、(i)膵管内乳頭粘液性腫瘍、(ii)粘液性嚢胞腫瘍、(iii)漿液性嚢胞腺腫、または(iv)充実性偽乳頭状腫瘍であり得るという確率を含むことができる。嚢胞は、患者の膵臓において場所決めされ得る。第1のイメージング情報は、磁気共鳴イメージング情報またはコンピュータ断層撮影法イメージング情報を含むことができる。磁気共鳴イメージング情報およびコンピュータ断層撮影法イメージング情報は、医者による視覚化のためのセグメンテーション手順を使用するセグメントであり得る。セグメンテーションされた嚢胞性病変は、さらには、1つまたは複数の分類器を使用して分類され得る。
さらに、解剖学的構造のマルチ・ラベル・セグメンテーションのための例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、解剖学的構造に対する複数の単一ラベル・データセットに関係付けられる第1のイメージング情報を受信することと、解剖学的構造に対する複数のクラス・ラベルに関係付けられる第2の情報を受信することと、第3の情報を、畳み込みニューラル・ネットワーク(CNN)を使用して第1のイメージング情報に基づいて第2の情報を符号化することにより生成することと、第4の情報を、CNNを使用して第3の情報を復号化することにより生成することと、解剖学的構造を、第4の情報に基づいてセグメンテーションすることとを含むことができる。
本開示の一部の例示的な実施形態において、第3の情報は、複数の符号化層を使用して生成され得るものであり、第4の情報は、複数の復号化層を使用して生成され得る。第3の情報は、符号化層のうちの1つに対する特徴マップを符号化層のうちの前の1つに基づいて連結することにより生成され得るものであり、第4の情報は、復号化層のうちの1つに対する特徴マップを復号化層のうちの前の1つに基づいて連結することにより生成され得る。符号化層は、畳み込み層と、少なくとも3つの最大プーリング層とを含むことができる。符号化層は、各々の密なブロック内に、各々の密なブロックの深さに比例する、特定の数の特徴チャネルを含むことができる。
本開示の所定の例示的な実施形態において、第4の情報は、符号化層とトポロジー的に対称である、アップサンプリング層としての、ストライドを有する複数の転置畳み込みを使用して生成され得る。復号化層のうちの1つは、シグモイド関数を含むことができる。解剖学的構造は、腹部器官であり得る。符号化層または復号化層は、例えば、セグメンテーションされるターゲット・ラベルを使用して条件付けされ得る。
本開示の例示的な実施形態の、これらおよび他の、目的、特徴、および利点は、添付される特許請求の範囲とあいまって解されるときに、本開示の例示的な実施形態の、後に続く詳細な説明を読むことで明らかになるであろう。
本開示のさらなる目的、特徴、および利点は、本開示の例解的な実施形態を示す、付随する図とあいまって解される、後に続く詳細な説明から明らかになるであろう。
図面の全体を通して、同じ参照番号および符号は、別段に説述されない限り、例解される実施形態の類似の特徴、要素、構成要素、または一部分を表象するために使用される。なおまた、本開示は、今から、図を参照して詳細に説明されることになるが、本開示は、例解的な実施形態に関してそのように行われ、図、および、添付される特許請求の範囲において例解される個別の実施形態により制限されない。
本明細書において説明される本発明の実施形態は、仮想膵臓撮影法(「VP」)のための例示的なシステム、方法、およびコンピュータ・アクセス可能媒体を提供する。この例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、コンピュータ断層撮影法(「CT」)または磁気共鳴イメージング(「MRI」)などの、腹部スキャンからの膵嚢胞性病変の非侵襲性放射線学的評価のためのソフトウェア・ツールを含むことができる。膵臓腺および膵嚢胞性病変の、医師誘導の、または自動的なセグメンテーションが提供され得るものであり、そのセグメンテーションは、嚢胞性病変タイプ(例えば、膵管内乳頭粘液性腫瘍、粘液性嚢胞腫瘍、漿液性嚢胞腺腫、および充実性偽乳頭状腫瘍)への病理組織学的分類のための、セグメンテーションされた膵嚢胞性病変の自動的な画像分析、ならびに、3Dレンダリングおよび測定潜在能力を伴う包括的な視覚化インターフェイスを含む。
当該例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、医師、例えば典型的には放射線科医を援助して、診断の正確性を改善すること、および、CTまたはMRIなどの放射線学的スキャンにおいて識別される様々な膵嚢胞性病変の区別の客観性を向上させることができる。当該例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵嚢胞性病変の早期検出をサポートすることができ、そのことは、実質的に、膵臓がんに対する生存率を変化させることができる。
図1は、本開示の例示的な実施形態による、例示的な分類および視覚化システムにおいて使用される画像を生成するための例示的な方法100を示す。例えば、手順105において、患者スキャン(例えば、患者のCTスキャンまたはMRIスキャン)が受けられ得る。手順110において、自動化または半自動化されたセグメンテーション手順が、器官および潜在的な嚢胞性病変などの、組織タイプの様々な領域を識別するために、患者スキャンに関して遂行され得る。手順115において、嚢胞性病変分類手順が、潜在的な嚢胞性病変を複数の嚢胞性病変タイプのうちの1つへと分類するために、セグメンテーションされた患者スキャンに関して遂行され得る。手順120において、手順110および115の結果が、例えば放射線科医による視認のために、3D視覚化インターフェイス内へと入力され得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵臓および嚢胞性病変セグメンテーションを含むことができる。具体的には、VPシステムは、膵臓腺、嚢胞性病変、および導管の、医師/技師誘導の、または自動的なセグメンテーションを遂行するためのモジュールを含むことができる。医師誘導のモジュールは、関心の領域をパラメータ化するための境界ボックス配置のためのツール、ならびに、前景(膵臓腺および嚢胞性病変)および背景の代表的な区域上でストーク(stoke)を描くための「ブラシ」または「マーカ」ツールを伴う、グラフィカル・ユーザ・インターフェイスを含むことができる。モジュールは、この情報、および、元のスキャン画像を使用して、大まかなセグメンテーション輪郭を生成することができ、それらの輪郭は、次いで、前景要素と背景要素との間の最終的なセグメンテーション境界を創出するために、ランダム・ウォーカ手順により精緻化され得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、嚢胞性病変分類を含むことができる。膵嚢胞性病変の判別のために放射線科医により使用される、最も一般的な特徴は、患者の性別および年齢、ならびに、膵臓の中の嚢胞性病変の場所、形状、および、嚢胞性病変の全体的な外観を含む。(例えば、図2A〜2Dを参照されたい)。例えば、MCN(例えば、図2Cおよび図3、要素315を参照されたい)およびSPN(例えば、図2Dおよび図3要素320を参照されたい)は、しばしば、閉経前年齢の女性に存在し、一方で、IPMN(例えば、図2Bおよび図3要素310を参照されたい)は、男性と女性との間で等しい分布を有し、典型的には、60歳代後半の患者に現れる。MCNおよびSPNの圧倒的多数は、膵臓の胴部または尾部において生出し、一方で、他のタイプは、そのような傾向を示さない。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、すべてのこれらの特徴を利用して、MCNおよびSPNの存在の最終的な確率を生み出すことができる。例示的なCNNは、同時的な自動的な、膵臓腺および嚢胞性病変のセグメンテーション、ならびに、嚢胞性病変の病理組織学的分類のために使用され得る。CTスキャンからの放射線学的特徴および空間的情報が使用され得るものであり、嚢胞性病変の病理組織学的タイプと、膵臓腺の中のその嚢胞性病変の場所、その嚢胞性病変の形状、および、その嚢胞性病変の放射線学的外観との間の関係性が符号化され得る。
図4Aにおいて例解されるように、VPシステムの分類モジュールは、膵嚢胞性病変の輪郭、元のイメージング・スキャン、ならびに、患者の年齢および性別を使用して、自動的な病理組織学的分析を遂行することができる。分類モジュールは、(i)患者の年齢および性別、膵臓腺の中の嚢胞性病変の場所、スキャンの輪郭および強度から導出されるその嚢胞性病変の形状および強度特性などの要因410を分析することができる確率的ランダム・フォレスト分類器420と、(ii)嚢胞性病変の高レベル・イメージング特性を分析することができる、図4Bにおいて例示される、畳み込みニューラル・ネットワークとを含むことができる。図4Cを参照すると、これらの2つのモジュールは、4つの最も一般的な膵嚢胞性病変タイプと、嚢胞性病変の特性との間の関係性を符号化するために、ベイジアン組み合わせ455へと組み合わされ得るものであり、したがって、個別のタイプのものであることの嚢胞性病変の最終的な確率460を生み出すことができる。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、視覚化インターフェイスを含むことができ、そのインターフェイスの例が、図5および6において描写されている。VPシステムの視覚化モジュールは、全体的な、および膵臓/嚢胞性病変に特定的な、3Dボリューム・レンダリングおよび測定のための、セグメンテーション輪郭のオプションのオーバーレイを伴う、元のスキャン画像の2D視覚化のためのツールを提供することができる。加えて、このモジュールは、膵臓の中心線に、または膵管に直交する、元の2Dスライスを再構築するように構成され得る。このことは、嚢胞性病変の内部的アーキテクチャへの、および、嚢胞性病変/膵臓関係性を理解することにおいての、追加的な洞察を提供することができる。測定ツールは、嚢胞性病変の、手作業での距離、測定、ならびに、体積および最大広がりを含むことができる。病理組織学的分類の結果は、視覚化インターフェイス内の定められたウィンドウ内で示される。
セグメンテーションは、視覚化および診断をサポートする医用システム内の構成要素である。従前の臨床診療において、セグメンテーションが必要とされるならば、それは一般的には、臨床医または技師により手作業で遂行される。しかしながら、手作業でのセグメンテーションは、時間を消費し、面倒であり、オペレータに依存的であり得る。結果的に生じる線引きの、高いオペレータ内およびオペレータ間変動性は、セグメンテーション・プロセスを、より精密でない、および再現不可能なものにする。手作業でのセグメンテーションと対照的に、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、画像を半自動的にセグメンテーションすること、または、何らのユーザ入力もなしに画像を自動的にセグメンテーションすることのいずれかができる。畳み込みニューラル・ネットワーク(「CNN」)が使用され得るものであり、そのことは、様々な器官のセグメンテーションを含む、広い範囲の医用応用例においてのものである。例示的なCNNは、例えば、CTスキャン・データに関する微細なテクスチャ的および空間的情報を分析して、出力を生み出すことができる、膵臓腺および嚢胞性病変の自動的なセグメンテーションのために、訓練および評価され得る。この分析された情報は、さらには、嚢胞性病変病理組織学的分類のために使用され得る。
例示的なデータ収集
Siemens SOMATOMスキャナ(例えば、Siemens Medical Solutions、ペンシルベニア州マルバーン)によって集められた134個の腹部コントラスト強調CTスキャンを内包した、例示的なデータセットが使用された。このデータセットは、4つの最も一般的な膵嚢胞性病変:74症例のIPMN、14症例のMCN、29症例のSCA、および、17症例のSPNからなる。すべてのCT画像は、0.75mmスライス厚さを有する。対象者(例えば、43人の男性、91人の女性)の年齢は、19から89歳の範囲に及ぶ(例えば、平均年齢59.9±17.4歳)。
Siemens SOMATOMスキャナ(例えば、Siemens Medical Solutions、ペンシルベニア州マルバーン)によって集められた134個の腹部コントラスト強調CTスキャンを内包した、例示的なデータセットが使用された。このデータセットは、4つの最も一般的な膵嚢胞性病変:74症例のIPMN、14症例のMCN、29症例のSCA、および、17症例のSPNからなる。すべてのCT画像は、0.75mmスライス厚さを有する。対象者(例えば、43人の男性、91人の女性)の年齢は、19から89歳の範囲に及ぶ(例えば、平均年齢59.9±17.4歳)。
さらなる例示的なデータセットは、319個の膵臓CTデータセット(例えば、様々な嚢胞性病変を伴う310個、および、9人の健常患者)を含んだ。これらのうち、182症例は、手作業でのセグメンテーションを含んだ。わかっている嚢胞性病変タイプ、および、ラベルされないデータセットの数が、手作業でのセグメンテーションの対応する数とともに、下記の表1において示される。
コンピュータ支援嚢胞性病変分析の重要な側面は、セグメンテーションであり得る。例示的な分類手順の有効性およびロバスト性は、部分的には、セグメンテーション輪郭の精密度に依存し得る。図3を参照すると、様々な嚢胞性病変の輪郭が、半自動化されたグラフ・ベースのセグメンテーション手順により取得されたものであり(例えば、参考文献3を参照されたい)、経験豊富な放射線科医により、SCA305、IPMN310、MCN315、およびSPN320と確認された。各々の対象者に対する病理組織学的診断は、膵臓病理医により、引き続いて切除された標本に基づいて確認された。セグメンテーション手順の後に続いたのが、現況技術のBM4D強調フィルタを使用するノイズ除去手順であった。(例えば、参考文献4を参照されたい)。
例示的な方法
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵嚢胞性病変に対する正確な病理組織学的区別を提供することができる。図4A〜4Cは、本開示の例示的な実施形態による、例示的な分類手順の概略を示す。この例示的なモデルは、(i)手作業で選択される定量的特徴を分析するために使用され得る確率的ランダム・フォレスト(「RF」)分類器420と、(ii)より良好な区別のために高レベル・イメージング特徴を発見するために訓練される畳み込みニューラル・ネットワーク(「CNN」)435とを含むことができる。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵嚢胞性病変に対する正確な病理組織学的区別を提供することができる。図4A〜4Cは、本開示の例示的な実施形態による、例示的な分類手順の概略を示す。この例示的なモデルは、(i)手作業で選択される定量的特徴を分析するために使用され得る確率的ランダム・フォレスト(「RF」)分類器420と、(ii)より良好な区別のために高レベル・イメージング特徴を発見するために訓練される畳み込みニューラル・ネットワーク(「CNN」)435とを含むことができる。
例えば、図4Aは、セグメンテーションされた嚢胞性病変405から定量的特徴410のベクトルを分類するために訓練されるランダム・フォレスト分類器を示す。定量的特徴410は、年齢、性別、場所、強度統計、および形状特徴を含むことができるが、それらに限られない。定量的特徴410は、クラス確率425を生み出すために、併合され415、RF分類器420内へと入力され得る。例示的なCNNアーキテクチャが、図4Bにおいて示される。セグメンテーションされた嚢胞性病変405は、64画素×64画素画像430へとサイズ再設定され得る。六(6)個の畳み込み層が、図4Bにおいて示される(例えば、3つの最大プーリング層435、および、3つの全結合(「FC」)層445であり、それらの全結合層のうちの2つは、ドロップアウト層440であり得るものであり、それらの層はすべて、クラス確率450を生み出すために使用され得る。図4Cにおいて示されるように、図4Aからのクラス確率425、および、図4Bからのクラス確率450は、クラス確率460を生成するために使用され得るベイジアン組み合わせ455を形成することができる。VPシステムの文脈においてのクラス確率は、例えば、IPMN、MCN、SCN、およびSPNを含み得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、患者の一般的な人口統計的情報、および、嚢胞性病変のCT結像を利用することができる。そのことは、下位クラス固有の人口統計的属性(例えば、年齢および性別)、嚢胞性病変の、場所(例えば、頭部、胴部、および尾部)、強度、および形状特徴を学習することができるRF分類器420、ならびに、微細なテクスチャ情報を利用することができるCNNの、ベイジアン組み合わせ455に基づくものであり得る。
データセットのサイズに基づいて、RFおよびCNNは、2つの別個の分類器として利用され得る。代替的に、RFおよびCNNは、単一の分類器において使用され得る。RFおよびCNNを2つの別個の分類器として使用することは有利であり得るものであり、なぜならば、RF分類器は、患者人口統計的情報を利用することにより、弁別的なイメージング特徴を有さない、小さい嚢胞性病変を分類することにおいて、より良好な性能を示すことができ、CNNは、大きい嚢胞性病変を分析することにおいて、類似の性能を示すことができるからである。RFおよびCNN分類器を独立的に訓練した後、ベイジアン組み合わせが遂行されることが、よりロバストおよび正確な分類器が、最終的な決定を為すことにおいて、より多くの力を有するということを確実にするために行われた。
開発された分類手順の性能がテストされることが、134個のデータセットに関して層化10分割交差検証戦略を使用し、嚢胞性病変クラスの起こり得る過剰および不足表現を回避するために、データセットを訓練およびテストすることにおいて類似のデータ分布を維持して行われた。各々の嚢胞性病変タイプに対する分類正確性が、下記の表2において要約される。
例示的な定量的特徴およびランダム・フォレスト
初期膵嚢胞性病変区別に対して使用され得る、医学文献において論考される最も一般的な特徴は、対象者の性別および年齢、ならびに、嚢胞性病変の、場所、形状、および、全体的な外観を必然的に含む。(例えば、参考文献2を参照されたい)。14個の定量的特徴のセットQが、(i)患者の年齢a∈Qおよび性別g∈Q、(ii)嚢胞性病変場所l∈Q、(iii)強度I⊂Q、ならびに、(iv)嚢胞性病変の形状S⊂Q特徴により、個別の症例を記述するために定義され得る。これらの特徴の重要性および判別力が、下記で説明される。
1.年齢および性別。いくつもの研究が、患者の年齢および性別と、膵嚢胞性病変の所定のタイプとの間の強い相関を報告した。(例えば、参考文献1および5を参照されたい)。例えば、MCNおよびSPNは、しばしば、閉経前年齢の女性に現れる。対照的に、IPMNは、男性と女性との間で等しい分布を有し、典型的には、60歳代後半の患者に現れる。
2.嚢胞性病変場所。所定の嚢胞性病変タイプは、膵臓の中の個別の場所において見出され得る。例えば、MCNの圧倒的多数は、膵臓の胴部または尾部において生出する。
3.強度特徴。均質性、対、隔壁形成、石灰化、または充実性構成要素の一般的な存在などの、膵嚢胞性病変の微細な構造においての違いに起因して、それぞれ強度の、平均、標準偏差、尖度、歪度、および中央値であり得る、セット
が、粗い初期区別に対する大域的強度特徴として使用され得る。
4.形状特徴。膵嚢胞性病変は、さらには、カテゴリに依存する形状においての違いをあらわにすることがある。具体的には、嚢胞性病変は、3つのカテゴリ:平滑な形状の、分葉状の、および、多形性の嚢胞性病変へとグループ化され得る。(例えば、参考文献5を参照されたい)。嚢胞性病変の形状の異なる特性を捕捉するために、中で要約される、体積V∈S、表面積SA∈S、表面積対体積比SA/V∈S、矩形性r∈S、凸性c∈S、および、偏心度c∈S特徴が使用され得る。(例えば、参考文献6を参照されたい)。
初期膵嚢胞性病変区別に対して使用され得る、医学文献において論考される最も一般的な特徴は、対象者の性別および年齢、ならびに、嚢胞性病変の、場所、形状、および、全体的な外観を必然的に含む。(例えば、参考文献2を参照されたい)。14個の定量的特徴のセットQが、(i)患者の年齢a∈Qおよび性別g∈Q、(ii)嚢胞性病変場所l∈Q、(iii)強度I⊂Q、ならびに、(iv)嚢胞性病変の形状S⊂Q特徴により、個別の症例を記述するために定義され得る。これらの特徴の重要性および判別力が、下記で説明される。
1.年齢および性別。いくつもの研究が、患者の年齢および性別と、膵嚢胞性病変の所定のタイプとの間の強い相関を報告した。(例えば、参考文献1および5を参照されたい)。例えば、MCNおよびSPNは、しばしば、閉経前年齢の女性に現れる。対照的に、IPMNは、男性と女性との間で等しい分布を有し、典型的には、60歳代後半の患者に現れる。
2.嚢胞性病変場所。所定の嚢胞性病変タイプは、膵臓の中の個別の場所において見出され得る。例えば、MCNの圧倒的多数は、膵臓の胴部または尾部において生出する。
3.強度特徴。均質性、対、隔壁形成、石灰化、または充実性構成要素の一般的な存在などの、膵嚢胞性病変の微細な構造においての違いに起因して、それぞれ強度の、平均、標準偏差、尖度、歪度、および中央値であり得る、セット
4.形状特徴。膵嚢胞性病変は、さらには、カテゴリに依存する形状においての違いをあらわにすることがある。具体的には、嚢胞性病変は、3つのカテゴリ:平滑な形状の、分葉状の、および、多形性の嚢胞性病変へとグループ化され得る。(例えば、参考文献5を参照されたい)。嚢胞性病変の形状の異なる特性を捕捉するために、中で要約される、体積V∈S、表面積SA∈S、表面積対体積比SA/V∈S、矩形性r∈S、凸性c∈S、および、偏心度c∈S特徴が使用され得る。(例えば、参考文献6を参照されたい)。
わかっている病理組織学的サブタイプyi∈Y={IPMN,MCN,SCA,SPN}の膵嚢胞性病変の例xiのセットD={(x1,y1),…,(xk,yk)}を与えられると、セットD内のすべてのk個の試料に対する記述された特徴の連結
が確定され得る。
特徴抽出の後に続いて、RF分類器420が、初見の嚢胞性病変試料xmに対して計算された特徴ベクトルqmの分類を遂行するために使用され得る。RFベースの分類器は、高い、予測の正確性および計算効率を有して、数多くの医用応用例を含む、様々な分類タスクにおいて優れた性能を示した。(例えば、参考文献7および8を参照されたい)。
T個の決定木のフォレストが使用され得る。各々の決定木θtは、特徴ベクトルqmを与えられると、病理組織学的クラスyの条件付き確率
を予測することができる。最終的なRFクラス確率は、後に続くもののように見出され得る。
例示的なCNN
提案された定量的特徴に関して訓練されるRFは、適度に高い正確性を伴う膵嚢胞性病変分類のために使用され得る。しかしながら、高い一般化潜在的可能性を有するにもかかわらず、提案された例示的な特徴は、イメージング情報をフルに活かさないことがある。特に、膵嚢胞性病変の内部的構造の変動に起因して、それらの特徴は、異なる放射線学的特性を示すことがある:(i)SCA嚢胞性病変は、しばしば、中心瘢痕(star)または隔壁形成によってハチの巣と類似の外観を有し、(ii)MCN嚢胞性病変は、周辺の石灰化によって「嚢胞性病変の中の嚢胞性病変」外観をあらわにし、(iii)IPMN嚢胞性病変は、「ブドウの房」と類似の外観をレンダリングする傾向があり、SPN嚢胞性病変は、典型的には、充実性および嚢胞性構成要素からなる。(例えば、参考文献10を参照されたい)。しかしながら、これらの放射線学的特徴は、とりわけ嚢胞性病変が小さいものであり得るときに、所定の嚢胞性病変サブタイプに対して重複することがあり、内部的アーキテクチャは区別されないことがある。
提案された定量的特徴に関して訓練されるRFは、適度に高い正確性を伴う膵嚢胞性病変分類のために使用され得る。しかしながら、高い一般化潜在的可能性を有するにもかかわらず、提案された例示的な特徴は、イメージング情報をフルに活かさないことがある。特に、膵嚢胞性病変の内部的構造の変動に起因して、それらの特徴は、異なる放射線学的特性を示すことがある:(i)SCA嚢胞性病変は、しばしば、中心瘢痕(star)または隔壁形成によってハチの巣と類似の外観を有し、(ii)MCN嚢胞性病変は、周辺の石灰化によって「嚢胞性病変の中の嚢胞性病変」外観をあらわにし、(iii)IPMN嚢胞性病変は、「ブドウの房」と類似の外観をレンダリングする傾向があり、SPN嚢胞性病変は、典型的には、充実性および嚢胞性構成要素からなる。(例えば、参考文献10を参照されたい)。しかしながら、これらの放射線学的特徴は、とりわけ嚢胞性病変が小さいものであり得るときに、所定の嚢胞性病変サブタイプに対して重複することがあり、内部的アーキテクチャは区別されないことがある。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、CNNを第2の分類器として利用することができ、そのCNNは、ほとんど知覚可能でない、それにもかかわらず重要な、イメージング特徴を学習することに、より適したものであり得る。(例えば、参考文献11を参照されたい)。例示的なCNNアーキテクチャが、図4Bにおいて示される。図4Bは、6つの畳み込み、3つの最大プーリング層435、3つのFC層445を示し、それらのFC層のうちの2つは、ドロップアウト層440であり得る。各々の畳み込み、および、最初の2つのFC層の後に続くのが、正規化線形ユニット(「ReLU」)活性化関数であり得るものであり、最後のFC層445は、最終的なクラス確率を取得するためのソフトマックス活性化関数によって終了することができる。
例示的なCNNを訓練およびテストするためのデータが、後に続くように生成された。セグメンテーションされた嚢胞性病変xiを伴う元の3D境界ボックス
の、各々の2次元(「2D」)アキシャル・スライス(Slice)
が、バイキュービック補間を使用して、64×64画素正方形にサイズ再設定された。嚢胞性病変の全体的に球状の形状に起因して、ボリュームの頂部および底部に近いスライスは、正確な診断を為すのに十分な嚢胞性病変の画素を内包しない。それゆえに、スライス内の嚢胞性病変画素のパーセンテージと定義され得る、40%未満の重複比を伴うスライスが排除された。データ拡張ルーチンが、訓練データセットのサイズを増大するために、および、オーバー・フィッティングを防止するために利用された:(i)[−25°;+25°]度範囲の中のランダム回転;(ii)ランダム垂直および水平反転;(iii)ならびに、[−2;+2]画素範囲の中のランダム水平および垂直並進。
ネットワークは、Kerasライブラリを使用して実装され、100エポックに対する0.001学習率を伴う確率的勾配降下法を使用して、クラス平衡(class−balanced)交差エントロピー損失関数を最小化するために、512にサイズ設定されたミニ・バッチに関して訓練され得る。テスティング局面において、40%より多い重複比を伴う各々のスライスが、CNNにより別個に分析されたものであり、確率の最終的なベクトルが、例えば次式のように、各々のスライスに対するクラス確率を平均化することにより取得された。
ただし、
は、クラス確率のベクトルであり得るものであり、Jmは、嚢胞性病変試料xmの分類のために使用される2Dアキシャル・スライスの数であり得る。
例示的なデータセットは、集団において生出する嚢胞性病変のタイプを表すものであり得るが、そのデータセットは、限られた情報を内包することができ、ロバストなCNN性能を取得するために有益であり得る、まれなイメージング外観の嚢胞性病変の十分な症例を含まないことがある。それゆえに、RF分類器が、患者に関する臨床情報、ならびに、全体的な強度および形状特徴を利用することにより、十分な弁別的なイメージング特徴を有さない、小さい嚢胞性病変を分類することにおいて、より良好な性能を示すために使用され得るものであり、しかるに、例示的なCNNは、類似の性能を、ただし大きい嚢胞性病変を分析することにおいて示すことを期待され得る。
複数個の分類器の組み合わせ(例えば、分類器アンサンブル)が、異なる(例えば、独立的な)分類部分問題を別個に学習することにより、単一の分類器モデルと比較して、優良な性能を達成することができるということが示された(例えば、参考文献12を参照されたい)。それゆえに、RFおよびCNN分類器を独立的に訓練した後、ベイジアン組み合わせが遂行されることが、よりロバストおよび正確な分類器が、最終的な決定を為すことにおいて、より多くの力を有し得るということを確実にするために行われ得る。数学的には、最終的な病理組織学的診断
は、後に続く形で書き表され得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体の性能が評価されることが、層化10分割交差検証戦略を使用し、データセット内の不均衡に起因する病理組織学的クラスの起こり得る過剰および不足表現を回避するために、データセットを訓練およびテストすることにおいて類似のデータ分布を維持して行われた。分類性能は、正規化された平均化された混同行列、および、総体的な分類正確性の見地において報告され得る。個々の分類器およびアンサンブル分類器の正確性と、間違って分類された嚢胞性病変の平均サイズとの間の依存性もまた分析された。
すべての実験は、NVIDIA Titan X(12GB)GPUを伴うマシン上で遂行された。RFおよびCNN分類器の訓練は、各々の交差検証ループの間、それぞれ、近似的に1秒および30分かかったものであり、最終的なクラス確率に対するテスト時間は、単一の試料に対して計算するために、大まかには1秒かかった。
個々の分類器の例示的な結果:RFおよびCNN分類器の性能が、別個に比較されたものであり、総体的な正確性は、それぞれ79.8%および77.6%であった。定量的詳細は、表3において提供されている。実験は、RF内の30個の木の正確性が、誤差収束につながり、優良な性能を達成するのに充分であったということを示した。定量的特徴の提案されたセットを開発するより前に、RF分類器の性能が、臨床医により使用される最も客観的な判定基準として、年齢、性別、および、膵臓の中の嚢胞性病変の場所のみを使用して評価された。総体的な正確性は、62%であったものであり、嚢胞性病変の体積を特徴として追加することが、分類を2.2%だけ改善した。加えて、CNNに対する性能有利性が、データ拡張手順を使用するときに評価された。具体的には、データ拡張の使用が、CNNの総体的な正確性を13.2%だけ改善するということが見出された。
関心を引く、ただしさらには期待される、アウトカムのうちの1つは、間違って分類された嚢胞性病変の平均サイズであり得る。特に、CNN分類器は、弁別的な外観の非存在に起因して適度に難題であり得る、9cm3、または直径で2.3cmより小さい体積の嚢胞性病変を正しく解釈することに難儀する(例えば、間違って分類された嚢胞性病変の平均の体積および直径は、それぞれ5.1cm3および1.3cmであり得る)。しかしながら、RFの正確性は、そのような依存関係を示さない(例えば、間違って分類された嚢胞性病変の平均の体積および直径は、それぞれ81cm3および5.2cmであり得る)。
アンサンブル分類器の例示的な結果。この実験において、RFおよびCNN分類器のベイジアン組み合わせの効果が、性能に関してテストされたものであり、結果が、上記の表4において提示されている。総体的な正確性は、個々の分類器の性能より高いものであり得る、83.6%であり得る。アンサンブル・モデルに対してそれぞれ65cm3および4.8cmであり得る、間違って分類された嚢胞性病変の平均の体積および直径の変化に注意することが、さらには関心を引くものであり得る。これらの結果は、例示的な仮説を検証するものであり、RFおよびCNN分類器をベイジアン組み合わせへと組み合わせて、それらの分類器が訓練データセットを分析することにおいてどれだけ正確であったかに依存する、それらの分類器の別個の診断を考慮することの決定を正当化する。
例示的な嚢胞性病変分類盲検試験
わかっていない嚢胞性病変タイプ分布を伴う61人の患者に関する盲検試験が遂行された。症例のすべては、最初に半自動的なセグメンテーション・パイプラインによって処理されたものであり、次いで、嚢胞性病変が、例示的な自動的な分類システムを使用して分類された。セグメンテーションは、ノイズの多いデータに起因して、1つの症例において嚢胞性病変をセグメンテーションすることに失敗したものであり、したがって、分類結果は、総計60症例に対して確定された。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、総計45症例のIPMN、7症例のMCN、6症例のSCA、および、2症例のSPNを予測した。症例は、独立的に評価されたものであり、結果は、自動的な分類と比較された。下記の表5は、分類器予測、および、病理学で確認された結果(例えば、ゴールド・スタンダード)に対する、これらの症例に対する混同行列を示す。結果の分析は、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体が、すべての症例のうちの91.7%を正しく分類することができるということを明白にした。各々の嚢胞性病変タイプに対する分類正確性が、下記の表6において示される。
わかっていない嚢胞性病変タイプ分布を伴う61人の患者に関する盲検試験が遂行された。症例のすべては、最初に半自動的なセグメンテーション・パイプラインによって処理されたものであり、次いで、嚢胞性病変が、例示的な自動的な分類システムを使用して分類された。セグメンテーションは、ノイズの多いデータに起因して、1つの症例において嚢胞性病変をセグメンテーションすることに失敗したものであり、したがって、分類結果は、総計60症例に対して確定された。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、総計45症例のIPMN、7症例のMCN、6症例のSCA、および、2症例のSPNを予測した。症例は、独立的に評価されたものであり、結果は、自動的な分類と比較された。下記の表5は、分類器予測、および、病理学で確認された結果(例えば、ゴールド・スタンダード)に対する、これらの症例に対する混同行列を示す。結果の分析は、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体が、すべての症例のうちの91.7%を正しく分類することができるということを明白にした。各々の嚢胞性病変タイプに対する分類正確性が、下記の表6において示される。
膵臓および嚢胞性病変に対する例示的な半自動的なセグメンテーション
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵臓および嚢胞性病変の半自動的なセグメンテーションを含むことができる。領域成長およびランダム・ウォーカ手順の組み合わせが使用され得る。セグメンテーション・モジュールのグラフィカル・ユーザ・インターフェイスの例が、図6において示される。例示的なセグメンテーション・パイプラインが、後に続く手順において要約され得る。
1.ユーザ入力による初期化、境界ボックスを膵臓および嚢胞性病変の周囲に配置すること、ならびに、ブラシ・ツールを使用して、膵臓、嚢胞、および背景の数個のボクセルをマーキングすること。
2.中央値フィルタリングおよび異方性拡散平滑化によるノイズ低減による画像強調。
3.ユーザ配置のブラシ・ストロークを使用する領域成長による粗いセグメンテーション。
4.ランダム・ウォーカ・アルゴリズムによるセグメンテーション精緻化。
5.バイナリ投票アルゴリズムによる出力強調。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵臓および嚢胞性病変の半自動的なセグメンテーションを含むことができる。領域成長およびランダム・ウォーカ手順の組み合わせが使用され得る。セグメンテーション・モジュールのグラフィカル・ユーザ・インターフェイスの例が、図6において示される。例示的なセグメンテーション・パイプラインが、後に続く手順において要約され得る。
1.ユーザ入力による初期化、境界ボックスを膵臓および嚢胞性病変の周囲に配置すること、ならびに、ブラシ・ツールを使用して、膵臓、嚢胞、および背景の数個のボクセルをマーキングすること。
2.中央値フィルタリングおよび異方性拡散平滑化によるノイズ低減による画像強調。
3.ユーザ配置のブラシ・ストロークを使用する領域成長による粗いセグメンテーション。
4.ランダム・ウォーカ・アルゴリズムによるセグメンテーション精緻化。
5.バイナリ投票アルゴリズムによる出力強調。
図7A〜7Fは、中間画像結果を例解し、図8は、セグメンテーション結果の例を示す。例えば、図7Aは、関心の領域、および、ユーザにより配置されるマーカ705を示す。図7Bは、平滑化の後の関心の領域を示す。図7Cは、領域成長により生成される粗いセグメンテーションを示す。図7Dは、ランダム・ウォーカ・アルゴリズムにより生成される精緻化されたセグメンテーションを示す。図7Eは、図7Dの3Dレンダリングを示し、図7Fは、最終的な強調されたセグメンテーションを示す。図8は、膵臓805、嚢胞性病変810、および膵管815に対するセグメンテーション結果の3Dボリューム・レンダリングされた例を示す。
例示的なセグメンテーション手順は、膵臓および嚢胞性病変セグメンテーションそれぞれに対して、71.5±10.5%および81.4±8.5%正確性を達成した。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、医師が、膵臓のセグメンテーションされたCTスキャンから再構築される膵臓および周りの組織の3Dモデルを検討することを可能とすることができるツールを伴う、コンピュータ・ベースのソフトウェア・システムを含むことができる、仮想膵臓撮影法を含むことができる。このことは、膵管/胆管を通しての、およびそれらの周囲の、3D視覚化およびナビゲーションを手助けして、嚢胞性病変を識別および特性評価すること、ならびに、嚢胞性病変特徴を嚢胞性病変診断と相関させることができる。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、医師が、嚢胞性病変タイプ、および、膵臓内の異形成の度合を識別し、正しく分類することの助けとなることができる。この非侵襲性ツールは、進行する潜在的可能性を有さない良性の嚢胞性病変を伴う患者において不必要な外科手術を回避することの助けとなることができ、不治の浸潤性膵臓がんに進行するリスクがある嚢胞性病変を識別することにより生命を救うことの助けとなることができる。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵臓および嚢胞性病変のユーザ誘導のセグメンテーションを遂行することができる。前景および背景領域に対する、境界ボックスおよびシード点を含む、いくつかのユーザ入力が、大まかなセグメンテーションを生成するために、CTスキャン画像と組み合わされ得るものであり、そのセグメンテーションは、次いで、ランダム・ウォーカ手順により精緻化され得る。このことをフルに自動化することは、セグメンテーションが、何らのユーザ入力もなしに前処理ステップとして遂行されることを容易にすることができる。
例示的な視覚化インターフェイスが、医師による使用のために提供され得る。(例えば、図5を参照されたい)。その図5において示されるように、2D CTスライスを視認するための、ならびに、腹部および膵臓/嚢胞性病変に特定的な、3Dボリューム・レンダリングおよび測定のためのツールが提供され得る。3D視覚化は、ユーザが、腺および導管との関係において嚢胞性病変の場所を観察することの助けとなることができる。しかしながら、個々のデータセットに対するレンダリング・パラメータを手直しすることは、時間を消費し、専門知識を要する。したがって、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、この雑事についてユーザを楽にするための自動的な伝達関数生成、および、異なる嚢胞性病変タイプの特性特徴を強調するための特別なレンダリング・モードを含むことができる。
例示的な視覚化システムは、膵臓がんの検出において放射線科医の助力となるための診断デバイスと分類され得る、画像出力ファイル(例えば、CTスキャナから収集されるDICOM準拠腹部画像)を分析するために使用され得る。このことは、放射線科医が、浸潤性膵臓がん、および、早期非浸潤性病変の両方を検出することの助けとなることができる。従来の2D CT結像のみを使用することと比較して、浸潤性がんに対する現在のイメージング・システムの区別および感度は改善され得るものであり、放射線科医の読み取り時間は短縮され得る。早期検出は、膵臓内の小さい病変を検出する能力に加えて、膵臓がんを発病する増大されるリスクを伴う患者集団(例えば、膵臓がんまたはポイツ・ジェガース(Peutz−Jeghers)症候群の強い家族歴を伴う患者)をターゲットにすることができる。このことは、偶然のスキャンに関して見出される非浸潤性の小さい病変を伴う患者の早期スクリーニングをもたらすことができる。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、セグメンテーションのためにテクスチャ的特徴を、ならびに、分類のためにテクスチャ的特徴および人口統計的特徴の両方を分析することができる。そのことは、臨床的に関連性のある、および、再現可能な定量的データをもたらすことができる。視覚化は、臨床医が、セグメンテーションされた、および、セグメンテーションされないCTデータを、3Dの形で、任意の所望される向きおよびスケールから視認することを可能とすることができる。自動的なカスタム伝達関数生成およびカスタム視覚化モードが、異なる嚢胞性病変タイプの特性特徴を強調するために利用され得る。異なる嚢胞性病変タイプは、異なる視覚的CT外観を有するので、カスタム・レンダリング・モードが、例示的な分類手順の結果、または、放射線科医からの指示に基づいて、各々の嚢胞性病変タイプに対して利用され得る。
ボリューム視覚化手順は、様々な応用例に対して開発されたが、これらの手順は、特定の応用例およびデータに対する効果的な使用のために、修正および最適化されるべきである。伝達関数などのレンダリング・パラメータは、正しく構成されないならば、データにわたって、最終的なレンダリングされた画像において、大きい変動性を引き起こすことがある。データの各々のインスタンスに対してこれらのセッティングをカスタマイズすることは、しばしば、規則的な放射線科医の作業フローにおいて、3D視覚化を利用することにおいて妨げになる。対照的に、例示的な視覚化システムは、最小限のユーザ介入を伴って、またはユーザ介入なしで、膵臓中心のCTスキャン、セグメンテーションされた膵臓、および、その特徴に関して調和して作動することができる、自動的な伝達関数生成を含むことができる。
放射線科医の入力またはCAD結果に基づいて膵嚢胞性病変においての特徴を強調することができる、視覚化プリセット(例えば、あらかじめ構成されたパラメータ)が提供され得る。膵嚢胞性病変は、それらを異なるタイプへと分類することにおいて助けとなることができる特性特徴を有する。嚢胞性病変の分類は、それが、最終的な診断、治療、および成績に影響を及ぼすことがあるので、診断の重要な部分である。これらの特徴は、従前の2Dビューにおいて識別するのが困難であり、時間を消費し得る。ユーザ相互作用を最小へと保ちながら、それらの特徴を3Dの形でレンダリングおよび強調することは、診断プロセスにおいて放射線科医を援助することができる。例示的な放射線学的特徴は、(i)嚢胞性病変壁の厚さ、(ii)内部的テクスチャ/パターン、および、(iii)石灰化の存在を含む。(例えば、図2A〜2Dを参照されたい)。具体的には、SCA嚢胞性病変(例えば、図2A、図3要素305を参照されたい)は、しばしば、薄壁を、および、中心瘢痕または隔壁形成によってハチの巣と類似の内部的外観を有し、MCN嚢胞性病変(例えば、図2C、図3要素315を参照されたい)は、普通、厚壁を有し、周辺の石灰化によって、カットされたオレンジの外観をあらわにし、IPMN嚢胞性病変(例えば、図2B、図3要素310を参照されたい)は、薄壁を有し(例えば、それが二次導管において生じるならば)、「ブドウの房」と類似の外観を有する傾向があり、SPN嚢胞性病変(例えば、図2D、図3要素320を参照されたい)は、典型的には、充実性および嚢胞性構成要素からなる。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、セグメンテーション、分類、および視覚化のための様々なソフトウェア・モジュールを含むことができる、組み合わされたソフトウェア・プログラムに含まれ得る。3つのモジュールが、多用途の、ユーザ・フレンドリーな、包括的なソフトウェア・パッケージへと組み合わされ得る。そのパッケージは、最小限のユーザ介入を伴って、放射線科医の作業フローに対して効率的である、統合されたエンド・ツー・エンド膵臓がんスクリーニング・システムとして役立つことができる。システムは、未加工のDICOM画像を入力として受け取り、セグメンテーションされた腺および嚢胞性病変、ならびに、分類された嚢胞性病変を、3D視覚化インターフェイスに提供することができる。セグメンテーションおよび分類モジュールは、個別のCTデータセットがシステム内へとロードされた後、背景において同時的および自動的に実行され得る。セグメンテーションおよび分類構成要素は、さらには、独立的なモジュールとして出荷され得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、セグメンテーションされた膵臓、嚢胞性病変、および膵管に対する特異的な注目によって、腹部CTスキャン・データを視覚化するための3Dグラフィックス・アプリケーションの形で実施され得る。このアプリケーションは、入力としての患者のCTスキャン(例えば、または他のイメージング・スキャン)、および、対応するセグメンテーション・マスクを利用し、3Dおよび2Dの両方の視覚化ツールを提供することができる。ロードされたデータセットを伴うグラフィカル・ユーザ・インターフェイスの例のスクリーンショットが、図5において示される。中央において、アプリケーションは、フル・データセットのボリューメトリック・レンダリングに対する3Dビュー、ならびに、可視ならば、さえぎられない膵臓、嚢胞性病変、および膵管のビューを提供する)。左側バーは、DICOMヘッダおよび中心線スライス・ビューから抽出された情報を内包する。右側は、従来の2Dスライス・ビュー(例えば、アキシャル、矢状、および冠状)を内包する。セグメンテーション・マスクの輪郭が、その上、2Dビューのすべてにおいて表示される。
ユーザは、左または右側の2Dビューの任意のものの上でダブル・クリックすることにより、中央のビューを取り換えることができ、そのことは、スライス・ビューのより詳細な調査を可能とする。2Dビューのすべてに対して、マウス・スクロール・ナビゲーションが、スライスの下方のスライダに加えて、スライス・スタックをスクロールさせるために提供される。後に続くツールが、さらには、検討の間の使用のためにインターフェイスにおいて存在する。
例示的な測定:医師は、3D有向境界ボックス(例えば、図9を参照されたい)上で、および、すべての2Dスライス・ビュー(例えば、図10を参照されたい)上で、手作業での距離測定を遂行することができ、複数個の測定が、同時的に遂行され得る。嚢胞性病変の主成分および最大広がりが測定され得るものであり、セグメンテーションされた特徴(例えば、膵臓、嚢胞性病変、および導管)に対する体積測定が提供され得る。(例えば、図9および10を参照されたい)。
例示的な膵臓/導管中心線スライス・ビュー:医師は、膵臓1105、導管1110、または嚢胞性病変1115の中心線に直交する、再構築された2Dスライスを視認することができる。(例えば、図11を参照されたい)。このビューは、嚢胞性病変特徴への、および、嚢胞性病変−膵臓境界面を理解することにおいての、追加的な洞察を提供することができる。文脈に対して、対応する中心線1205が、3Dレンダリングされたビューにおいて示され得る。(例えば、図12を参照されたい)。
例示的な可視性オプション:ユーザは、メイン・ウィンドウの底部においてのチェックボックスのセットを使用して、異なるオーバーレイの可視性(例えば、示す/隠す)を変化させることができる。例えば、図13は、導管(要素1305)および嚢胞性病変(要素1310)の3Dビューを示す。
例示的な分類結果:セグメンテーションが完了された後、分類手順が、背景においてランさせられ得るものであり、結果が、特別なウィンドウ内で視認され得る。
例示的なレンダリング調整:所望されるならば、ユーザは、個々の特徴(例えば、フル・ボリューム、膵臓、嚢胞性病変、および導管)に対する伝達関数1405を編集することにより、高等のレンダリング・パラメータを調整することができる。各々の伝達関数は、必要とされる際に、編集、記憶、およびロードされ得る。(例えば、図13を参照されたい)。
図15Aおよび15Bは、膵臓、嚢胞性病変、および導管のボリューム変形、ならびに、2Dおよび3Dの形で視覚化することを必然的に含む、導管−嚢胞性病変関係性の、医師による視認を例解する、画像のセットである。例えば、変形された膵臓、嚢胞性病変、および導管の視覚化が、2D(図15A)および3D(図15B)の形で示される。
単一ラベル・データセットからマルチ・ラベル・セグメンテーションを学習すること
上記で論考されたように、画像セグメンテーションは、一般的には医用イメージング応用例において、ならびに、より詳しくは、本発明のVPシステムおよび方法において用いられる1つの要素である。深層学習は、セマンティック・セグメンテーションを含む、幅広い範囲のタスクに対する強力なツールであることが判明している。進歩がこの研究境域において為されたものであり、そのような前進の主要な要因のうちの1つは、ImageNet(例えば、参考文献14を参照されたい)、COCO(例えば、参考文献29を参照されたい)、PASCAL VOC(例えば、参考文献19を参照されたい)、および他のものなどの、大規模なマルチ・ラベル・データセットの公的な利用可能性である。そのような種々の利用可能なデータセットは、異なるセグメンテーション・モデルを訓練および評価するためのみではなく、さらには、多様なラベルを呈するための手段を提供する。しかしながら、自然の画像と対照的に、セグメンテーション研究の決定的な重要性にもかかわらず、グラウンド・トゥルース・アノテーションおよびラベリングの生成が、きわめてコスト高であり、研究を前進させることにおいてボトルネックのままである、所定の対象領域がある。
上記で論考されたように、画像セグメンテーションは、一般的には医用イメージング応用例において、ならびに、より詳しくは、本発明のVPシステムおよび方法において用いられる1つの要素である。深層学習は、セマンティック・セグメンテーションを含む、幅広い範囲のタスクに対する強力なツールであることが判明している。進歩がこの研究境域において為されたものであり、そのような前進の主要な要因のうちの1つは、ImageNet(例えば、参考文献14を参照されたい)、COCO(例えば、参考文献29を参照されたい)、PASCAL VOC(例えば、参考文献19を参照されたい)、および他のものなどの、大規模なマルチ・ラベル・データセットの公的な利用可能性である。そのような種々の利用可能なデータセットは、異なるセグメンテーション・モデルを訓練および評価するためのみではなく、さらには、多様なラベルを呈するための手段を提供する。しかしながら、自然の画像と対照的に、セグメンテーション研究の決定的な重要性にもかかわらず、グラウンド・トゥルース・アノテーションおよびラベリングの生成が、きわめてコスト高であり、研究を前進させることにおいてボトルネックのままである、所定の対象領域がある。
生物医学的イメージングは、様々な構造の正確なセグメンテーションが、臨床研究において基本的な問題である、1つのそのような対象領域である。従前の臨床診療において、セグメンテーションは、しばしば、診断プロセスの間に省略される。しかしながら、測定を含む、生物医学的画像の手作業での分析は、大きい変動性を免れないものであり、なぜならば、その分析は、関心の構造、画像品質、および、臨床医の経験を含む、異なる要因に依存するからである。なおまた、セグメンテーションは、コンピュータ支援診断(「CAD」)(例えば、参考文献16および21を参照されたい)および外科手術/治療計画立案をサポートする様々な医用システムにおいて、本質的な構成要素である。さらに、VP応用例を含む、早期がん検出および病期分類は、しばしば、セグメンテーションの結果に依存し得る。
進歩が近年において為された、生物医学的画像の境域のうちの1つは、磁気共鳴イメージング(「MRI」)およびコンピュータ断層撮影法(「CT」)3次元(「3D」)スキャンなどの、放射線学的画像のセグメンテーションである。放射線学的画像は、単一の画像の中で、腹部器官などの様々なオブジェクトを呈する(例えば、図16Aおよび16Bを参照されたい)。しかしながら、そのような画像に対するエキスパート・アノテーションを創出することは、時間を消費する、および集約的なタスクであり、したがって、マルチ・ラベル・データセットは、生成するのが困難である。限られた数のセグメンテーション手順が、マルチ・ラベル・データセットに関して提案および評価された。これらのデータセットは、資金の不足に起因して利用可能でなかった、VISCERAL(例えば、参考文献26を参照されたい)などの、私的または公的なデータセットを含む。なおまた、これらのマルチ・ラベル・データセットは、しばしば、サイズにおいて制限され(例えば、30未満のボリューム)、それらのデータセットが、同じイメージング・プロトコルおよびイメージング・デバイスを使用して生成された、単一の機関に由来するものであり、そのことは、開発されるセグメンテーション手順が、そのようなイメージング・パラメータに高感度になることにつながる。他方で、単一ラベル・データセットの生成は、より少ない時間および労力を利用し、それらのデータセットは、しばしば、チャレンジの一部、例えば、Sliver07(例えば、参考文献22を参照されたい)(例えば、図16Cを参照されたい)およびNIH膵臓(例えば、図16Dを参照されたい)として、公的に利用可能である。(例えば、参考文献23を参照されたい)。加えて、これらの単一ラベル・データセットは、異なる機関に由来し、悪性腫瘍の存在、イメージング・プロトコル、および再構築手順などの要因において変動性を呈する。
しかしながら、単一ラベル・データセットは、しばしば、単一の画像の中に同じオブジェクトを内包するが、グラウンド・トゥルース・アノテーションは、バイナリ・マスクの形式で、オブジェクトの個別のクラスのみに対して提供され、画像のセットそれら自体は、データセットの間で重複しない。したがって、そのことは、データセットを単純に組み合わせて、マルチ・ラベル・セグメンテーションのためのモデルを訓練するのに障害になる。一般的には、単一ラベル・データセットは、個別のクラスのセグメンテーションのための高度に仕立てられたソリューションを開発するために使用されてきた。
前の業績は、カテゴリまたはラベルなどの所定の属性に関して条件付けされた画像を生成することに関して遂行されたものであり、成功裏の、および説得力のある結果を示した。(例えば、参考文献28、38、40、および41を参照されたい)。例えば、任意の姿勢を根拠とする人物画像合成のためのフレームワークが提案された。(例えば、参考文献31を参照されたい)。他の業績は、画像対画像翻訳の潜在的可能性結果の分布をモデリングした。(例えば、参考文献44を参照されたい)。所望される内容、および、画像の中のその場所を与えられての画像の合成が、さらには論証された。(例えば、参考文献35を参照されたい)。しかしながら、セマンティック・セグメンテーションのための条件付き畳み込みネット(convnet)の境域は、未開拓で残されてきており、応用例が探究されていない。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、セグメンテーションのために、および次いで、腹部器官のセグメンテーションを評価するために使用され得る、条件付け畳み込みネットを含むことができる。
解剖学的構造、とりわけ腹部器官のセグメンテーションは、困難な問題と考えられ得るものであり、なぜならば、それらの解剖学的構造は、サイズ、位置、形状、およびノイズにおいて高い変動性をあらわにするからである。(例えば、図16A〜16Eを参照されたい)。様々な畳み込みネット・ベースのセグメンテーション手順が、腹部器官セグメンテーションに対して提案された。単一ラベル・データセットを利用する、これらの手順の大多数は、肝臓(例えば、参考文献17および30を参照されたい)または膵臓などの個別の器官のセグメンテーションに関して専門化され得る。(例えば、参考文献20および36を参照されたい)。若干のより一般的に適用可能な畳み込みネット・ベースの手順が、複数個の器官に関して提案およびテストされた。(例えば、参考文献18を参照されたい)。これらの手順のすべては、モデルを記述し、個々の器官のセグメンテーションに対して適用され得るものであり、別個のセグメンテーションが、最終的なラベルを生み出すために一体に融合させられ得る。しかしながら、現況技術の性能を示す一方で、これらのモデルは、各々の器官のセグメンテーションに対して別個に訓練および適用され得るものであり、そのことは、計算的リソースおよび追加的な訓練時間の非効率的な使用法を表顕するものである。なおまた、そのような別個に訓練されるモデルは、腹部器官の間の空間的相関を組み入れず、したがって、各々の個別の単一ラベル・データセットに対してオーバー・フィッティングされる公算が大きいものであり得る。加えて、これらのモデルは、しばしば、前および後処理ステップを利用し、そのことは、いっそうさらに進んで、モデルを複雑化および個別化する。
いくつもの研究が、医用画像においての解剖学的構造の同時的なマルチ・ラベルまたは多器官セグメンテーションに対して提案された。これらの研究の大多数は、確率的アトラス(例えば、参考文献13、33、および39を参照されたい)および統計的形状モデルを利用する。(例えば、参考文献32を参照されたい)。これらの手順は、位置合わせされることになる、訓練データセット内のすべてのボリューメトリック画像を利用する。この前処理ステップは、計算的に高価であり、しばしば、患者の間の腹部器官のサイズ、形状、および場所においての少なからぬ変動に起因して不完全であり得る。最近、数個の畳み込みネット・ベースのソリューションが、同時的な多器官セグメンテーションに対して提案された。(例えば、参考文献37を参照されたい)。しかしながら、すべてのそのような手順は、公的に利用不可能なマルチ・ラベル・セグメンテーション・データセットに関して開発および評価された。なおまた、使用されたマルチ・ラベル・データセットは、単一の機関により収集されたものであり、同じ画像品質を呈し、慢性の異常性を欠く。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、多様な単一ラベル・データセットを活用し、畳み込みネットを条件付けするための手順を記述して、高い一般化能力のマルチ・ラベル・セグメンテーション・モデルを開発することができる。
単一ラベル・データセットにおいて各々のオブジェクトに対して別個のモデルを生成することの代わりに、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、単一ラベル・データセットのセットを与えられると、マルチ・ラベル知識を同時的に学習することができる。例えば、単一ラベル・データセットのセット{D1,…,Dk}を考えるものであり、その場合、各々のデータセット
、j∈{1,…,k}は、入力画像
のセット、および、オブジェクトci∈C、i=1、…mの対応するバイナリ・セグメンテーション・マスク
のセットを内包する。加えて、入力画像Ijの各々のセットは、すべてのラベルci∈Cのオブジェクトを内包する。なおまた、データセットDjは、
、∀i、jなど、
の同じ対を有さず、各々のデータセットは、異なる濃度を有することができるということが、さらには想定され得る。これらの想定は、初期条件を大幅に緩和し、問題の記述を、より一般的に、および難題にすることを試みる。目標は、セグメンテーション・マスクのセット
を、初見の入力画像
を与えられて予測することであり得る。
例示的なベース・モデル
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、スキップ・コネクションを伴う符号化器−復号化器などの、3D完全畳み込みのU−netと類似のアーキテクチャを含むことができる。(例えば、図17Aを参照されたい)。例えば、その図17Aにおいて示されるように、K個の単一ラベル・データセットからの入力画像1705が、クラス・ラベル1725とともに、符号化器1715と復号化器1720とを含むことができるベース・モデル1710を使用して条件付けされ得る。このことは、複数の出力セグメンテーション1730を結果的に生じさせることができる。条件付けは、ベース・モデル1710の符号化器層1715(例えば、図17Bを参照されたい)もしくは復号化器層1720(例えば、図17Cを参照されたい)のいずれか、または両方に対して遂行され得る。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、スキップ・コネクションを伴う符号化器−復号化器などの、3D完全畳み込みのU−netと類似のアーキテクチャを含むことができる。(例えば、図17Aを参照されたい)。例えば、その図17Aにおいて示されるように、K個の単一ラベル・データセットからの入力画像1705が、クラス・ラベル1725とともに、符号化器1715と復号化器1720とを含むことができるベース・モデル1710を使用して条件付けされ得る。このことは、複数の出力セグメンテーション1730を結果的に生じさせることができる。条件付けは、ベース・モデル1710の符号化器層1715(例えば、図17Bを参照されたい)もしくは復号化器層1720(例えば、図17Cを参照されたい)のいずれか、または両方に対して遂行され得る。
加えて、CTスキャンにおいて利用可能なボリューメトリック情報を効果的に利用することができる、3Dの密に結合された畳み込みブロック(例えば、参考文献24および25を参照されたい)が利用され得る。例示的なモデルは、合成関数Hl(・)の密に結合されたユニットを含むことができ、第lの層の出力xlは、例えば、次式のように定義され得る。
xl=Hl([x0,x1,…,xl−1]) (4)
ただし、[…]は、前の層からの特徴マップの連結演算であり得る。例示的な実験において、Hl(・)は、正規化線形ユニット(「ReLU」)と定義され得るものであり、後に続くのが、3×3×3畳み込みである。モデルの符号化器パートは、畳み込み層を含むことができ、後に続くのが、2×2×2最大プーリング層によって逐次的に結合される、6つの密に結合された畳み込みブロックである。各々の密なブロック内の特徴チャネルの数は、その深さに比例し得る。モデルの復号化器パートは、アップサンプリング層として、ストライドを伴う転置畳み込みを利用することができ、符号化器とトポロジー的に対称であり得る。最後の畳み込み層は、シグモイド関数によって終了することができる。
xl=Hl([x0,x1,…,xl−1]) (4)
ただし、[…]は、前の層からの特徴マップの連結演算であり得る。例示的な実験において、Hl(・)は、正規化線形ユニット(「ReLU」)と定義され得るものであり、後に続くのが、3×3×3畳み込みである。モデルの符号化器パートは、畳み込み層を含むことができ、後に続くのが、2×2×2最大プーリング層によって逐次的に結合される、6つの密に結合された畳み込みブロックである。各々の密なブロック内の特徴チャネルの数は、その深さに比例し得る。モデルの復号化器パートは、アップサンプリング層として、ストライドを伴う転置畳み込みを利用することができ、符号化器とトポロジー的に対称であり得る。最後の畳み込み層は、シグモイド関数によって終了することができる。
例示的な条件付け
各々のラベルci∈Cに対して別個のモデルを訓練することの伝統的な手法と類似せずに、例示的なフレームワークは、単一ラベル・データセットからの複数個のラベルのセグメンテーションおよび関係性を推論することができ、学習して、単一のモデルによってすべてのラベルciに対するセグメンテーションを生成することができる。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、ベース畳み込みモデルを、セグメンテーションされることを必要とするターゲット・ラベルciによって条件付けするために使用され得る。条件付けのための所定の手順が、画像合成に対する敵対的生成ネット(「GAN」)(例えば、参考文献15、31、および35を参照されたい)において広く使用されているが、セグメンテーションのために畳み込みネットを条件付けするための前の試みは存していない。
各々のラベルci∈Cに対して別個のモデルを訓練することの伝統的な手法と類似せずに、例示的なフレームワークは、単一ラベル・データセットからの複数個のラベルのセグメンテーションおよび関係性を推論することができ、学習して、単一のモデルによってすべてのラベルciに対するセグメンテーションを生成することができる。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、ベース畳み込みモデルを、セグメンテーションされることを必要とするターゲット・ラベルciによって条件付けするために使用され得る。条件付けのための所定の手順が、画像合成に対する敵対的生成ネット(「GAN」)(例えば、参考文献15、31、および35を参照されたい)において広く使用されているが、セグメンテーションのために畳み込みネットを条件付けするための前の試みは存していない。
性能に悪影響を与えることがある追加的なオーバーヘッドを回避するために、ベース・モデルを完全畳み込みに、単純に、および効率的に保つことが有益であり得る。このことを達成するために、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、畳み込み演算を遂行した後に、および、非線形性を適用する前に、中間活性化信号の一部として条件付き情報を組み込むことができる。条件付けされたGAN(例えば、参考文献35を参照されたい)の一部の例は、条件付き関数を学習することを提唱するが、セグメンテーションのタスクのための、より計算的に効率的な手法が使用され得る。具体的には、後に続く例示的な関数が使用され得る。
ただし、
は、要素ごとの乗算であり得るものであり、OH×W×Dは、すべての要素が1にセットされるサイズH×W×Dのテンソルであり得るものであり、hash(・)は、あらかじめ定義されたルックアップ・テーブルに対するハッシュ関数であり得る。そのことは、関数
が、すべての値がhash(ci)にセットされるサイズHj×Wj×Djのテンソルを創出することができるということであり得る。それゆえに、サイズHl×Wl×Dlの入力xlによる第lの層の例示的な条件付けは、例えば、次式のように定義され得る。
ただし、xl−1は、前の層の出力であり得る。例示的な条件付けは、場所、形状、その他などの、ラベルの可能な属性に依存しないということに注意することは重要であり得る。そのことは、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体の一般化能力を増大するために行われ得る。
訓練時間の間に、ネットワークは、異なるデータセットDjからランダムにサンプリングされ得る対
に関して訓練され得るものであり、一方で、バイナリ・グラウンド・トゥルース・セグメンテーション・マスク
において、対応するラベルciに関して条件付けされる。推論時間の間に、ネットワークは、セグメンテーション・マスク
を、入力画像
内のすべてのオブジェクトに対して生成するために、すべてのci∈Cに関して逐次的に条件付けされ得る。あらかじめ定義されたルックアップ・テーブルを使用するそのような手法は、訓練されることになる追加的な変数なしに単純性および簡素性を維持することができるが、その手法は、さらには、若干の実用的な利益を有することがある。特に、新しいターゲット・セグメンテーション・ラベルcm+1を追加することの事象において、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、条件付き関数が学習されているならば予想される高価な再訓練と類似せずに、ルックアップ・テーブルへの新しいエントリ、および、単純な微調整を利用するのみであり得る。
符号化器−復号化器と類似のアーキテクチャを与えられると、条件付けが復号化器内の層上で遂行され得るときに、より良好な性能を期待することができるものであり、その条件付けは、提供される条件付き情報、および、符号化器特徴マップ内に存在する低レベル情報を使用して、それらの層を、ネットワークの中のより高いレベルにマッピングすることができる。なおまた、複数個の層にとって直接的にアクセス可能な条件付き情報は、最適化を手助けすることができる。
例示的なマルチ・ラベル実験
例示的な実験は、異なる種類の損失関数、および、様々な手立ての条件付け、および、結果をソリューションと比較することを含むことができ、それらのソリューションは、各々の単一ラベル・データセットに対して個々にカスタマイズされた、または、マルチ・ラベル・データセットに対して設計されたものである。例示的な条件付けされたマルチ・ラベル・セグメンテーション・フレームワークは、現在の現況技術の単一ラベル・セグメンテーション手法をしのぐ。結果は、下記で示される表5において要約される。
例示的な実験は、異なる種類の損失関数、および、様々な手立ての条件付け、および、結果をソリューションと比較することを含むことができ、それらのソリューションは、各々の単一ラベル・データセットに対して個々にカスタマイズされた、または、マルチ・ラベル・データセットに対して設計されたものである。例示的な条件付けされたマルチ・ラベル・セグメンテーション・フレームワークは、現在の現況技術の単一ラベル・セグメンテーション手法をしのぐ。結果は、下記で示される表5において要約される。
例示的なマルチ・ラベル・データセット:例示的なシステム、方法、およびコンピュータ・アクセス可能媒体を評価するために、腹部CTボリュームの3つの単一ラベル・データセットが使用され得る。特に、肝臓セグメンテーションの公的に利用可能なSliver07データセット(例えば、参考文献22を参照されたい)の20個のボリューム、膵臓セグメンテーションの公的に利用可能なNIH膵臓データセット(例えば、参考文献23を参照されたい)の82個のボリューム、ならびに、肝臓および脾臓セグメンテーションの本発明者らの追加的なデータセットからの74個のボリュームが使用された。それゆえに、例示的な実験において、ci∈C={肝臓,脾臓,膵臓}である。後者のデータセットにおいてのセグメンテーション・マスクは、バイナリ化され、別個の単一ラベル・ファイルとして記憶された。CT画像、および、対応するグラウンド・トゥルース・セグメンテーション・マスクの例が、図16C〜16Eおよび図19において例解される。各々のデータセットは、約80/20の比率で訓練および検証セットへと分けられた。各々のデータセットにおいてのボリュームのサイズは、約512×512×Z0であった。各々のデータセットは、異なる機関において、異なるイメージング・スキャナおよびプロトコルによって集められたものであり、様々なスライス間の間隔のボリュームを組み込み、なおまた、肝腫瘍、および、脾腫の症例などの、様々な病態を呈した。データセットにおけるそのような多様性によって、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体のテスティングが、難題なセッティングにおいてのものであり得ることが可能になる。
入力画像は、最小限に前処理されたものであり、各々の画像は、約256×256×Z0にサイズ再設定され、正規化された。訓練の間に、各々のデータセットは、等しい確率によってサンプリングされたものであり、サイズ約256×256×32のサブボリュームが、訓練入力画像を創出するために抽出された。加えて、すべての訓練例は、小さいランダム回転、ズーム、およびシフトによって拡張された。
例示的なマルチ・ラベル訓練:例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、すべての使用された単一ラベル・データセットからの例に関して訓練された。フレームワークは、後に続く目的物によって最適化された。
ただし、
は、単一ラベル・データセットDiに対する損失関数であり得るものであり、ハイパーパラメータαiは、全損失に関する個別のラベルciの影響力を指定することができ、βi={0,1}は、訓練バッチにおいてのラベルciの存在を指定することができる。
例示的なマルチ・ラベル推論:推論時間の間に、ターゲット・セグメンテーション・ラベルciが指定され得る。しかしながら、推論時間の間のフレームワークの使用を単純化するために、ターゲット・セグメンテーション・ラベルを指定することのプロセスは、ルックアップ・テーブル内のすべてのエンティティを反復して調べることにより自動化され得る。代替的に、具体的には腹部器官のセグメンテーションに対して、しばしば臨床医により一体で分析され得る、肝臓および胆嚢などの、プリセットのセットが定義され得る。
例示的なマルチ・ラベル実装形態:例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、Tensor−Flowバックエンドを伴うKerasライブラリを使用して実装された。例示的なネットワークは、使用Adamオプティマイザ(例えば、参考文献27を参照されたい)を使用して、初期学習率すなわち0.00005、およびβ1=0.9、β2=0.999によって、25K反復に対する2のバッチ・サイズによって、一から訓練された。
例示的なマルチ・ラベル・アブレーション実験
予測されたセグメンテーション・マスクは、それらのマスクを約0.5でしきい値処理することによりバイナリ化され得る。一般的なダイス類似度係数(「DSC」)メトリックが使用され得るものであり、そのメトリックは、
と定義され得るものであり、バイナリ・セグメンテーション・マスクYと
との間の類似度を測定することができる。具体的には単一ラベル・セグメンテーションに対して提案されたものであり、個別のラベルに対して仕立てられ得る、現在の現況技術のセグメンテーション方法に照らして、例示的な結果が比較された。特に、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、膵臓セグメンテーションのための2ステップ畳み込みネット・ベースのソリューションを説明したものであり、NIH膵臓データセットに関して82.4%DSCを生じさせた、先の業績(例えば、参考文献43を参照されたい)と比較された。(例えば、参考文献23を参照されたい)。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、さらには、肝臓の1000個のCT画像の私的なデータセットに関して95%DSCを示した、別の畳み込みネット・ベースのセグメンテーション業績(例えば、参考文献42を参照されたい)と比較された。例示的な結果は、さらには、私的なマルチ・ラベル・データセットに関して評価されたものであり、肝臓、脾臓、および膵臓それぞれに対して、95.4%、92.8%、および82.2%DSCを結果的に生じさせた、2段階多器官畳み込みネット・ベースのソリューション(例えば、参考文献37を参照されたい)と比較された。
予測されたセグメンテーション・マスクは、それらのマスクを約0.5でしきい値処理することによりバイナリ化され得る。一般的なダイス類似度係数(「DSC」)メトリックが使用され得るものであり、そのメトリックは、
説明されるすべての例示的な実験において、α1=1であり、DSCベースの損失関数は、後に続くようなものであり得る。
加えて、バイナリ交差エントロピー損失関数がテストされたものであり、そのことは、有意に、より悪い性能を示した。例示的な実験は、条件付けの使用なしに各々のラベルciに対して別個に訓練された例示的なベース・モデルの性能を分析することにより始まった。この実験は、個々(indivs)と呼称され得るものであり、各々のモデルに対する学習曲線が、図18A〜18Eにおいて例解される。例えば、線1805は、下記の表5において示される、ダイス類似度係数に対する肝臓(行1820)、脾臓(行1825)、および膵臓(行1830)に対する現況技術のセグメンテーション結果:95.2、92.8、および82.4を例解する。線1810は、訓練データセット内の画像に関する肝臓、脾臓、および膵臓に対するダイス類似度係数を例解する。線1815は、テスティング・データセット内の画像に関する肝臓、脾臓、および膵臓に対するダイス類似度係数に対する結果を示す。モデルは、最初の25K反復の間は、現況技術の性能に接近することに失敗したが、結果は、モデルが、十分な表現的潜在的能力を有し、性能は、より多くの訓練時間を与えられれば改善され得るということを示すということが観察され得る。
次に、単一ラベル・データセットに関して単一のモデルを訓練することの原始的な手法が、同じ寸法の、ただし、各々が肝臓、脾臓、および膵臓などの各々のラベルciに対する3つのチャネルを伴うボリュームを予測することにより、適度なマルチ・ラベル・セグメンテーション結果を生み出すためにテストされた。この実験は、条件なし(no cond)と呼称され得るものであり、学習曲線が、図18Bにおいて例解される。結果は、訓練が収束しないということを示し、そのことは、モデルが、訓練例において、調和のないバイナリ・ラベルからマルチ・ラベル関係性を推論することに難儀するという事実により解説され得る。加えて、この手法は、メモリ有界であり得るものであり、小さい数のラベルのみが、この手立てでモデリングされ得る。
実験、条件−第2において、単一のモデルを条件付けすることの単純な手立てが、条件付き情報を入力ボリュームの第2のチャネルとして提供することによりテストされた。特に、条件付け変数のルックアップ・テーブルが、各々のciに対して、[−1,1]からサンプリングされたランダム実数値によって定義された。具体的には、各々の訓練3Dサブボリュームが、すべての要素がhash(ci)にセットされた同じサイズのボリュームによって、第2のチャネルにおいて拡張された。図18Cにおいて例解される学習曲線は、モデルが、提供された条件付き情報を利用して、および、学習して、マルチ・ラベル・セグメンテーションを生成することができたということを示す。しかしながら、符号化器内の各々の密なブロックが、条件付き情報への直接的なアクセスを有した、実験、条件−符号化(例えば、図18Dを参照されたい)と類似して、モデルは適して見える。
さらに、ベース・モデルの復号化器パートを条件付けすることが、条件付けテンソルへの直接的なアクセスを提供することにより検討された。図18Eにおいて例解される学習曲線は、優良なセグメンテーション性能を示す。この実験においての訓練は、他の実験においてより高速に収束する。単一ラベル・セグメンテーションに対して綿密に仕立てられたソリューション、および、私的なデータセットに関して設計されたマルチ・ラベル・セグメンテーション・ソリューションの両方をしのぐことに加えて、例示的なフレームワークは、さらには、有意な一般化能力を示す。この実験に対するセグメンテーション結果の例が、図19において例解される。オンであるイメージング・プロトコルに起因して、すべての器官が、一体で密集していることの他に、さらには、類似の強度を有し、それらの器官の境界が、区別するのが難しいものであり得る、図19において例解される困難な事例(例えば、行1905)においてでさえ、モデルは、すべてのターゲット・オブジェクトを正確に線引きするということが観察され得る。例示的なモデルによるそのような正確なセグメンテーションに対する理由は、(i)モデリングされているすべてのラベルの間で共有する高い度合の暗黙パラメータ、ならびに、(ii)利用可能な条件付き情報を生かし、ターゲット・ラベルの空間的情報および鮮明な境界を徐々に回復する、復号化器経路の能力に起因するものであり得る。
図19において示されるように、各々の行1905、1910、および1915は、エキスパートにより手作業で生成されたグラウンド・トゥルース・セグメンテーションに対するセグメンテーション例(例えば、輪郭1920および輪郭1925)を示す。輪郭1930は、異なるデータセット内の異なる器官に対する自動的に生成された輪郭を示す。例えば、行1905は、肝臓に対するグラウンド・トゥルース・セグメンテーションを有するデータセットからの画像に対するセグメンテーション結果を示す。行1910は、膵臓に対するグラウンド・トゥルース・セグメンテーションを有するデータセットからの画像に対するセグメンテーション結果を示す。行1910は、肝臓および脾臓に対するグラウンド・トゥルース・セグメンテーションを有するデータセットからの画像に対するセグメンテーション結果を示す。
例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、マルチ・ラベル・セグメンテーションに対する畳み込みネットを条件付けすることにより、非重複ラベル・データセットからマルチ・ラベル・セグメンテーションを学習することを含むことができる。モデルを条件付けすることの様々な手立ての広範な実験的評価が遂行されたものであり、そのことは、復号化器経路内の各々の層に、条件付き情報への直接的なアクセスを提供することが、最も正確なセグメンテーション結果を生じさせるということを見出した。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、単一ラベル・データセットの問題が自然に生出する、医用画像のセグメンテーションのタスクに関して評価された。有意に、より計算的に効率的である一方で、方法は、各々の単一ラベル・データセットに対して特異的に仕立てられた、現在の現況技術のソリューションをしのぐ。
例示的なモデルは、放射線学的CT画像を使用して検証されたが、そのモデルは、様々な他の対象領域においての応用例に容易に展開され得る。特に、例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、病理画像においてのがん転移の検出に対して適用され得る。転移検出に対する病理学は、類似のデータセット断片化を示し、−脳または胸部などの、様々な生物学的組織の病理画像の統合されたデータベースは、現在は実在せず、研究は、別個の部分問題に重点を置く。例示的な実験と類似して、畳み込みネットが、異なる組織試料内の転移したがん細胞のターゲット・タイプに関して条件付けされ得る。なおまた、各々のインスタンスが、サイズ、色、その他などの所定の属性、または、種もしくは類などの、より込み入った何かに関して条件付けされ得る、インスタンス・レベル・セグメンテーションの目的のために畳み込みネットを条件付けすることの類似の応用例が適用され得る。さらにまた、先の業績は、分類の目的のために複数個の視覚的対象領域においてデータ表現を学習することの方法を説明した(例えば、参考文献34を参照されたい)。例示的なシステム、方法、およびコンピュータ・アクセス可能媒体は、そのような業績をセグメンテーションの目的のために拡張することができる。
図20Aは、本開示の例示的な実施形態による、医用イメージング・データを使用して、1つまたは複数の嚢胞性病変についてスクリーニングするための方法2000のフロー図である。例えば、手順2005において、患者の器官の第1の情報が受信され得る。手順2010において、第2の情報が、第1の情報を前景および背景へとセグメンテーションすることを含むことができる、セグメンテーション動作を遂行することにより生成され得る。手順2015において、セグメンテーション輪郭が、前景および背景に基づいて生成され得る。代替的に、または加えて、手順2020において、第1の情報が、ユーザに表示され得るものであり、次いで、第2の情報が、ユーザからの入力に基づいて第1の情報に関してセグメンテーション手順を遂行することにより生成され得る。手順2025において、第2の情報内の1つまたは複数の嚢胞性病変が識別され得る。手順2030において、第1および第2のクラス確率が、第1および第2の分類器を1つまたは複数の嚢胞性病変に別個に適用することにより生成され得る。手順2035において、第1および第2の分類器の結果が、ベイジアン組み合わせがクラス確率の第1および第2のセットに適用されることによってなどで組み合わされ得るものであり、1つまたは複数の嚢胞性病変は、ベイジアン組み合わせに基づいて、個別のタイプ(typo)と分類され得る。
図20Bは、本開示の例示的な実施形態による、解剖学的構造のマルチ・ラベル・セグメンテーションのための例示的な方法2050のフロー図である。例えば、手順2055において、解剖学的構造に対する単一ラベル・データセットに関係付けられる第1の情報が受信され得る。手順2060において、解剖学的構造に対するクラス・ラベルに関係付けられる第2の情報が受信され得る。手順2065において、第3の情報が、畳み込みニューラル・ネットワークを使用して第1の情報に基づいて第2の情報を符号化することにより生成され得る。手順2070において、第3の情報は条件付けされ得る。手順2075において、第4の情報が、畳み込みニューラル・ネットワークを使用して第3の情報を復号化することにより生成され得る。手順2080において、第4の情報は条件付けされ得る。手順2085において、解剖学的構造が、第4の情報に基づいてセグメンテーションされ得る。
図21は、上記で説明された方法200を遂行するために使用され得る、本開示によるシステムの例示的な実施形態のブロック図を示す。例えば、本明細書において説明される本開示による例示的な手順(例えば、方法2000)は、処理装置および/または計算装置(例えば、コンピュータ・ハードウェア装置)2105により遂行され得る。そのような処理/計算装置2105は、例えば全体としてコンピュータ/プロセッサ2110である、もしくはコンピュータ/プロセッサ2110の一部である、またはコンピュータ/プロセッサ2110を含むが、コンピュータ/プロセッサ2110に限られないことがあり、そのコンピュータ/プロセッサ2110は、例えば1つまたは複数のマイクロプロセッサを含み、コンピュータ・アクセス可能媒体(例えば、RAM、ROM、ハード・ドライブ、または、他の記憶デバイス)上に記憶される命令を使用することができる。
図21において示されるように、例えば、コンピュータ・アクセス可能媒体2115(例えば、本明細書において上記で説明されたように、ハード・ディスク、フロッピー・ディスク、メモリスティック、CD−ROM、RAM、ROM、その他、または、それらの集合体などの記憶デバイス)が、(例えば、処理装置2105と通信している様態で)設けられ得る。コンピュータ・アクセス可能媒体2115は、その媒体上に実行可能命令2120を内包することができる。加えて、または代替的に、記憶装置2125が、コンピュータ・アクセス可能媒体2115とは別個に設けられ得るものであり、その記憶装置2125は、命令を処理装置2105に提供することを、例えば、本明細書において上記で説明されたような、所定の例示的な手順、プロセス、および方法を実行するように処理装置を構成するように行うことができる。例示的な手順は、患者に対するイメージング情報を受信すること、イメージング情報をセグメンテーションすること、および、イメージング情報内の嚢胞性病変を分類することを含むことができる。
さらに、例示的な処理装置2105は、入出力ポート2135を設けられる、または含むことがあり、それらの入出力ポート2135は、例えば、有線ネットワーク、ワイヤレス・ネットワーク、インターネット、イントラネット、データ採取プローブ、センサ、その他を含むことができる。図21において示されるように、例示的な処理装置2105は、例示的な表示装置2130と通信している様態にあり得るものであり、その表示装置2130は、本開示の所定の例示的な実施形態によれば、例えば、処理装置からの情報を出力することに加えて、処理装置への情報を入力することのために構成されるタッチ・スクリーンであり得る。例えば、表示装置2130は、イメージング情報を、ユーザ(例えば、医者)に表示するために使用され得るものであり、そのユーザは、入力を提供して、イメージング情報に関するセグメンテーションする動作を遂行することができる。さらに、例示的な表示装置2130および/または記憶装置2125は、ユーザ・アクセス可能フォーマットおよび/またはユーザ可読フォーマットで、データを表示および/または記憶するために使用され得る。
前述のことは、本開示の原理を例解するにすぎない。説明された実施形態に対する様々な修正および改変が、当業者には、本明細書においての教示に鑑みて明らかであろう。したがって、当業者は、本明細書において明示的に示されない、または説明されないが、本開示の原理を実施する、ならびに、かくして、本開示の趣旨および範囲の中にあり得る、数多くのシステム、装置、および手順を考案することができることになるということが察知されるであろう。様々な異なる例示的な実施形態は、当業者により理解されるはずであるように、互いと一緒に、および、互いと交換可能に使用され得る。加えて、本開示の明細書、図面、および特許請求の範囲を含めて、本開示において使用される所定の用語は、例えばデータおよび情報を含むが、それらに限られない、所定の実例において同義的に使用され得る。互いに同義的であり得るこれらの単語、および/または、他の単語が、本明細書において同義的に使用され得る一方で、そのような単語が、同義的に使用されないことを意図され得る実例が存し得るということが理解されるべきである。さらに、従来技術知識が、上記で本明細書に参照により明示的に組み込まれていない限りにおいて、その従来技術知識は、その全体において本明細書に明示的に組み込まれている。参照されるすべての出版物は、それらの全体において参照により本明細書に組み込まれている。
例示的な参考文献
後に続く参考文献は、ここに、それらの全体において参照により組み込まれている。
[1]Lennon, A.M.、Wolfgang, C.L.、Canto, M.I.、Klein, A.P.、Herman, J.M.、Goggins, M.、Fishman, E.K.、Kamel, I.、Weiss, M.J.、Diaz, L.A.、Papadopoulos, N.、Kinzler, K.W.、Vogelstein, B.、Hruban, R.H.:The early detection of pancreatic cancer:What will it take to diagnose and treat curable pancreatic neoplasia? Cancer Research 74(13)(2014)3381〜3389。
[2]Sahani, D.V.、Sainani、Blake, M.A.、Crippa, S.、Mino−Kenudson, M.、del Castillo, C.F.:Prospective evaluation of reader performance on mdct in characterization of cystic pancreatic lesions and prediction of cyst biologic aggressiveness. American Journal of Roentgenology 197(1)(2011)W53〜W61。
[3]Dmitriev, K.、Guntenko, I、Nadeem, S.、Kaufman, A.:Pancreas and cyst segmentation. Proc. of SPIE Medical Imaging (2016)97842C〜97842C。
[4]Maggioni, M.、Katkovnik, V.、Egiazarian, K.、Foi, A.:Nonlocal transform−domain filter for volumetric data denoising and reconstruction、IEEE Transactions on Image Processing 22(1)(2013)119〜133。
[5]Cho, H.W.、Choi, J.Y.、Kim, M.J.、Park, M.S.、Lim, J.S.、Chung, Y.E.、Kim, K.W.:Pancreatic tumors:emphasis on CT findings and pathologic classification. Korean Journal of Radiology 12(6)(2011)731〜739。
[6]Yang, M.、Kpalma, K.、Ronsin, J.:A survey of shape feature extraction techniques. Pattern Recognition (2008)43〜90。
[7]Raman, S.P.、Chen, Y.、Schroeder, J.L.、Huang, P.、Fishman, E.K.:CT texture analysis of renal masses:pilot study using random forest classification for prediction of pathology. Academic Radiology 21(12)(2014)1587〜1596。
[8]Raman, S.P.、Schroeder, J.L.、Huang, P.、Chen, Y.、Coquia, S.F.、Kawamoto, S.、Fishman, E.K.:Preliminary data using computed tomography texture analysis for the classification of hypervascular liver lesions:generation of a predictive model on the basis of quantitative spatial frequency measurements − a work in progress. Journal of Computer Assisted Tomography 39(3)(2015)383〜395。
[9]Criminisi, A.、Shotton, J.、Konukoglu, E.:Decision forests for classification, regression, density estimation, manifold learning and semi−supervised learning. Microsoft Research Cambridge, Tech, Rep. MSRTR−2011−114 5(6)(2011)12。
[10]Zaheer, A.、Pokharel, S.S.、Wolfgang, C.、Fishman, E.K.、Horton, K.M.:Incidentally detected cystic lesions of the pancreas on CT:review of literature and management suggestions. Abdominal Imaging 38(2)(2013)331〜341。
[11]Shin, H.C.、Roth, H.R.、Gao, M.、Lu, L.、Xu, Z.、Nogues, I、Yao, J.、Mollura, D.、Summers, R.M.:Deep convolutional neural networks for computer−aided detection:Cnn architectures, dataset characteristics and transfer learning. IEEE Transactions on Medical Imaging 35(5)(2016)1285〜1298。
[12]Ingalhalikar, M.、Parker, W.A.、Bloy, L.、Roberts, T.P.、Verma, R.:Using multi−parametric data with missing features for learning patterns of pathology、Proc. of International Conference on MICCAI (2012)468〜475。
[13]Chengwen Chu、Masahiro Oda、Takayuki Kitasaka、Kazunari Misawa、Michitaka Fujiwara、Yuichiro Hayashi、Yukitaka Nimura、Daniel Rueckert、およびKensaku Mori。Multi−organ segmentation based on spatially−divided probabilistic atlas from 3D abdominal CT images. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、165〜172頁、292、2013。
[14]Jia Deng、Wei Dong、Richard Socher、Li−Jia Li、Kai Li、およびLi Fei−Fei。Imagenet:A large−scale hierarchical image database. Proc. of IEEE Conference on Computer Vision and Pattern Recognition、(CVPR)、248〜255頁、2009。
[15]Emily L Denton、Soumith Chintala、Rob Fergusら。Deep generative image models using a laplacian pyramid of adversarial networks. Advances in Neural Information Processing Systems、NIPS、1486〜1494頁、2015。
[16]Konstantin Dmitriev、Arie E Kaufman、Ammar A Javed、Ralph H Hruban、Elliot K Fishman、Anne Marie Lennon、およびJoel H Saltz。Classification of pancreatic cysts in computed tomography images using a random forest and convolutional neural network ensemble. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、303−150〜158頁、2017。
[17]Qi Dou、Hao Chen、Yueming Jin、Lequan Yu、Jing Qin、およびPheng−Ann Heng。3D deeply supervised network for automatic liver segmentation from CT volumes. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、149〜157頁、2016。
[18]Michal Drozdzal、Gabriel Chartrand、Eugene Vorontsov、Mahsa Shakeri、Lisa Di Jorio、An Tang、Adriana Romero、Yoshua Bengio、Chris Pal、およびSamuel Kadoury。Learning normalized inputs for iterative estimation in medical image segmentation. Medical image analysis、44:1〜13、2018。
[19]Mark Everingham、Luc Van Gool、Christopher KI Williams、John Winn、およびAndrew Zisserman。The pascal visual object classes (voc) challenge. International Journal of Computer Vision、88(2):312 303〜338、2010。
[20]Amal Farag、Le Lu、Holger R Roth、Jiamin Liu、Evrim Turkbey、およびRonald M Summers。A bottom−up approach for pancreas segmentation using cascaded superpixels and (deep) image patch labeling. IEEE Transactions on Image Processing、26(1):386〜399、2017。
[21]Michael Goetz、Christian Weber、Bram Stieltjes、Klaus Maier−Hein、およびK Maier。Learning from small amounts of labeled data in a brain tumor classification task. Proc. of Neural Information Processing Systems、NIPS、2014。
[22]Tobias Heimann、Bram Van Ginneken、Martin A Styner、Yulia Arzhaeva、Volker Aurich、Christian Bauer、Andreas Beck、Christoph Becker、Reinhard Beichel、Gyorgy Bekesら。Comparison and evaluation of methods for liver segmentation from CT datasets. IEEE Transactions on Medical Imaging、28(8):1251〜1265、2009。
[23]Roth Holger、Farag Amal、Turkbey Evrim、Lu Le、Liu Jiamin、およびSummers Ronald。Data from pancreas − CT. Cancer Imaging Archive、2016。
[24]Gao Huang、Zhuang Liu、Kilian Q Weinberger、およびLaurens van der Maaten。Densely connected convolutional networks. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition、(CVPR)、1(2):3、2017。
[25]Simon Jegou、Michal Drozdzal、David Vazquez、Adriana Romero、およびYoshua Bengio。The one hundred layers tiramisu:Fully convolutional densenets for semantic segmentation. Proc. of IEEE on Computer Vision and Pattern Recognition Workshops(CVPRW)、1175〜1183頁、2017。
[26]Oscar Jimenez−del Toro、Henning Mueller、Markus Krenn、Katharina Gruenberg、Abdel Aziz Taha、Marianne Winterstein、Ivan Eggel、Antonio Foncubierta−Rodriguez、Orcun Goksel、Andras Jakabら。Cloud−based evaluation of anatomical structure segmentation and landmark detection algorithms:Visceral anatomy benchmarks. IEEE Transactions on Medical Imaging、35(11):2459〜2475、2016。
[27]Diederik P KingmaおよびJimmy Ba. Adam:A method for stochastic optimization. arXiv preprint:1412.6980、2014。
[28]Christoph Lassner、Gerard Pons−Moll、およびPeter V Gehler。A generative model of people in clothing. arXiv preprint arXiv:1705.04098、2017。
[29]Tsung−Yi Lin、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr、およびC Lawrence Zitnick。Microsoft COCO:Common objects in context. Proc. of European on Computer Vision、(ECCV)、740〜755頁、2014。
[30]Fang Lu、Fa Wu、Peijun Hu、Zhiyi Peng、およびDexing Kong。Automatic 3D liver location and segmentation via convolutional neural network and graph cut. International Journal of Computer Radiology and Surgery、12(2):171〜182、2017。
[31]Liqian Ma、Xu Jia、Qianru Sun、Bernt Schiele、Tinne Tuytelaars、およびLuc Van Gool。Pose guided person image generation. Advances in Neural Information Processing Systems、NIPS、405〜415頁、2017。
[32]Toshiyuki Okada、Marius George Linguraru、Masatoshi Hori、Ronald M Summers、Noriyuki Tomiyama、およびYoshinobu Sato。Abdominal multi−organ segmentation from CT images using conditional shape−location and unsupervised intensity priors. Medical Image Analysis、26(1):1〜18、2015。
[33]Bruno Oliveira、Sandro Queiros、Pedro Morais、Helena R Torres、Joao Gomes−Fonseca、Jaime C Fonseca、およびJoao L Vilaca。A novel multi−atlas strategy with dense deformation field reconstruction for abdominal and thoracic multi−organ segmentation from computed tomography. Medical Image Analysis、45:108〜120、2018。
[34]Sylvestre−Alvise Rebuffi、Hakan Bilen、およびAndrea Vedaldi。Learning multiple visual domains with residual adapters. Advances in Neural Information Processing Systems、NIPS、506〜516頁、2017。
[35]Scott E Reed、Zeynep Akata、Santosh Mohan、Samuel Tenka、Bernt Schiele、およびHonglak Lee。Learning what and where to draw. Advances in Neural Information Processing Systems、NIPS、217〜225頁、2016。
[36]Holger R Roth、Le Lu、Amal Farag、Hoo−Chang Shin、Jiamin Liu、Evrim B Turkbey、およびRonald M Summers。Deeporgan:Multi−level deep convolutional networks for automated pancreas segmentation. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、556〜564頁、2015。
[37]Holger R Roth、Hirohisa Oda、Yuichiro Hayashi、Masahiro Oda、Natsuki Shimizu、Michitaka Fujiwara、Kazunari Misawa、およびKensaku Mori。Hierarchical 3D fully convolutional networks for multi−organ segmentation. arXiv preprint arXiv:1704.06382、2017。
[38]Aaron van den Oord、Nal Kalchbrenner、Lasse Espeholt、Oriol Vinyals、Alex Gravesら。Conditional image generation with pixelcnn decoders. Advances in Neural Information Processing Systems、NIPS、4790〜4798頁、2016。
[39]Robin Wolz、Chengwen Chu、Kazunari Misawa、Kensaku Mori、およびDaniel Rueckert。Multi−organ abdominal CT segmentation using hierarchically weighted subject−specific atlases. Proc. Of International Conference on Medical Image Computing and Computer−Assisted Intervention(MICCAI)、10〜17頁、2012。
[40]Tianfan Xue、Jiajun Wu、Katherine Bouman、およびBill Freeman。Visual dynamics:Probabilistic future frame synthesis via cross convolutional networks. Advances in Neural Information Processing Systems、NIPS、91〜99頁、2016。
[41]Xinchen Yan、Jimei Yang、Kihyuk Sohn、およびHonglak Lee。Attribute2image:Conditional image generation from visual attributes. Proc. of European Conference on Computer Vision、(ECCV)、776〜791頁、2016。
[42]Dong Yang、Daguang Xu、S Kevin Zhou、Bogdan Georgescu、Mingqing Chen、Sasa Grbic、Dimitris Metaxas、およびDorin Comaniciu。Automatic liver segmentation using an adversarial image−to−image network. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、507〜515頁、2017。
[43]Yuyin Zhou、Lingxi Xie、Wei Shen、Yan Wang、Elliot K Fishman、およびAlan L Yuille。A fixed−point model for pancreas segmentation in abdominal CT scans. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、693〜701頁、2017。
[44]Jun−Yan Zhu、Richard Zhang、Deepak Pathak、Trevor Darrell、Alexei A Efros、Oliver Wang、およびEli Shechtman。Toward multimodal image−to−image translation. Advances in Neural Information Processing Systems、NIPS、465〜476頁、2017。
後に続く参考文献は、ここに、それらの全体において参照により組み込まれている。
[1]Lennon, A.M.、Wolfgang, C.L.、Canto, M.I.、Klein, A.P.、Herman, J.M.、Goggins, M.、Fishman, E.K.、Kamel, I.、Weiss, M.J.、Diaz, L.A.、Papadopoulos, N.、Kinzler, K.W.、Vogelstein, B.、Hruban, R.H.:The early detection of pancreatic cancer:What will it take to diagnose and treat curable pancreatic neoplasia? Cancer Research 74(13)(2014)3381〜3389。
[2]Sahani, D.V.、Sainani、Blake, M.A.、Crippa, S.、Mino−Kenudson, M.、del Castillo, C.F.:Prospective evaluation of reader performance on mdct in characterization of cystic pancreatic lesions and prediction of cyst biologic aggressiveness. American Journal of Roentgenology 197(1)(2011)W53〜W61。
[3]Dmitriev, K.、Guntenko, I、Nadeem, S.、Kaufman, A.:Pancreas and cyst segmentation. Proc. of SPIE Medical Imaging (2016)97842C〜97842C。
[4]Maggioni, M.、Katkovnik, V.、Egiazarian, K.、Foi, A.:Nonlocal transform−domain filter for volumetric data denoising and reconstruction、IEEE Transactions on Image Processing 22(1)(2013)119〜133。
[5]Cho, H.W.、Choi, J.Y.、Kim, M.J.、Park, M.S.、Lim, J.S.、Chung, Y.E.、Kim, K.W.:Pancreatic tumors:emphasis on CT findings and pathologic classification. Korean Journal of Radiology 12(6)(2011)731〜739。
[6]Yang, M.、Kpalma, K.、Ronsin, J.:A survey of shape feature extraction techniques. Pattern Recognition (2008)43〜90。
[7]Raman, S.P.、Chen, Y.、Schroeder, J.L.、Huang, P.、Fishman, E.K.:CT texture analysis of renal masses:pilot study using random forest classification for prediction of pathology. Academic Radiology 21(12)(2014)1587〜1596。
[8]Raman, S.P.、Schroeder, J.L.、Huang, P.、Chen, Y.、Coquia, S.F.、Kawamoto, S.、Fishman, E.K.:Preliminary data using computed tomography texture analysis for the classification of hypervascular liver lesions:generation of a predictive model on the basis of quantitative spatial frequency measurements − a work in progress. Journal of Computer Assisted Tomography 39(3)(2015)383〜395。
[9]Criminisi, A.、Shotton, J.、Konukoglu, E.:Decision forests for classification, regression, density estimation, manifold learning and semi−supervised learning. Microsoft Research Cambridge, Tech, Rep. MSRTR−2011−114 5(6)(2011)12。
[10]Zaheer, A.、Pokharel, S.S.、Wolfgang, C.、Fishman, E.K.、Horton, K.M.:Incidentally detected cystic lesions of the pancreas on CT:review of literature and management suggestions. Abdominal Imaging 38(2)(2013)331〜341。
[11]Shin, H.C.、Roth, H.R.、Gao, M.、Lu, L.、Xu, Z.、Nogues, I、Yao, J.、Mollura, D.、Summers, R.M.:Deep convolutional neural networks for computer−aided detection:Cnn architectures, dataset characteristics and transfer learning. IEEE Transactions on Medical Imaging 35(5)(2016)1285〜1298。
[12]Ingalhalikar, M.、Parker, W.A.、Bloy, L.、Roberts, T.P.、Verma, R.:Using multi−parametric data with missing features for learning patterns of pathology、Proc. of International Conference on MICCAI (2012)468〜475。
[13]Chengwen Chu、Masahiro Oda、Takayuki Kitasaka、Kazunari Misawa、Michitaka Fujiwara、Yuichiro Hayashi、Yukitaka Nimura、Daniel Rueckert、およびKensaku Mori。Multi−organ segmentation based on spatially−divided probabilistic atlas from 3D abdominal CT images. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、165〜172頁、292、2013。
[14]Jia Deng、Wei Dong、Richard Socher、Li−Jia Li、Kai Li、およびLi Fei−Fei。Imagenet:A large−scale hierarchical image database. Proc. of IEEE Conference on Computer Vision and Pattern Recognition、(CVPR)、248〜255頁、2009。
[15]Emily L Denton、Soumith Chintala、Rob Fergusら。Deep generative image models using a laplacian pyramid of adversarial networks. Advances in Neural Information Processing Systems、NIPS、1486〜1494頁、2015。
[16]Konstantin Dmitriev、Arie E Kaufman、Ammar A Javed、Ralph H Hruban、Elliot K Fishman、Anne Marie Lennon、およびJoel H Saltz。Classification of pancreatic cysts in computed tomography images using a random forest and convolutional neural network ensemble. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、303−150〜158頁、2017。
[17]Qi Dou、Hao Chen、Yueming Jin、Lequan Yu、Jing Qin、およびPheng−Ann Heng。3D deeply supervised network for automatic liver segmentation from CT volumes. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、149〜157頁、2016。
[18]Michal Drozdzal、Gabriel Chartrand、Eugene Vorontsov、Mahsa Shakeri、Lisa Di Jorio、An Tang、Adriana Romero、Yoshua Bengio、Chris Pal、およびSamuel Kadoury。Learning normalized inputs for iterative estimation in medical image segmentation. Medical image analysis、44:1〜13、2018。
[19]Mark Everingham、Luc Van Gool、Christopher KI Williams、John Winn、およびAndrew Zisserman。The pascal visual object classes (voc) challenge. International Journal of Computer Vision、88(2):312 303〜338、2010。
[20]Amal Farag、Le Lu、Holger R Roth、Jiamin Liu、Evrim Turkbey、およびRonald M Summers。A bottom−up approach for pancreas segmentation using cascaded superpixels and (deep) image patch labeling. IEEE Transactions on Image Processing、26(1):386〜399、2017。
[21]Michael Goetz、Christian Weber、Bram Stieltjes、Klaus Maier−Hein、およびK Maier。Learning from small amounts of labeled data in a brain tumor classification task. Proc. of Neural Information Processing Systems、NIPS、2014。
[22]Tobias Heimann、Bram Van Ginneken、Martin A Styner、Yulia Arzhaeva、Volker Aurich、Christian Bauer、Andreas Beck、Christoph Becker、Reinhard Beichel、Gyorgy Bekesら。Comparison and evaluation of methods for liver segmentation from CT datasets. IEEE Transactions on Medical Imaging、28(8):1251〜1265、2009。
[23]Roth Holger、Farag Amal、Turkbey Evrim、Lu Le、Liu Jiamin、およびSummers Ronald。Data from pancreas − CT. Cancer Imaging Archive、2016。
[24]Gao Huang、Zhuang Liu、Kilian Q Weinberger、およびLaurens van der Maaten。Densely connected convolutional networks. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition、(CVPR)、1(2):3、2017。
[25]Simon Jegou、Michal Drozdzal、David Vazquez、Adriana Romero、およびYoshua Bengio。The one hundred layers tiramisu:Fully convolutional densenets for semantic segmentation. Proc. of IEEE on Computer Vision and Pattern Recognition Workshops(CVPRW)、1175〜1183頁、2017。
[26]Oscar Jimenez−del Toro、Henning Mueller、Markus Krenn、Katharina Gruenberg、Abdel Aziz Taha、Marianne Winterstein、Ivan Eggel、Antonio Foncubierta−Rodriguez、Orcun Goksel、Andras Jakabら。Cloud−based evaluation of anatomical structure segmentation and landmark detection algorithms:Visceral anatomy benchmarks. IEEE Transactions on Medical Imaging、35(11):2459〜2475、2016。
[27]Diederik P KingmaおよびJimmy Ba. Adam:A method for stochastic optimization. arXiv preprint:1412.6980、2014。
[28]Christoph Lassner、Gerard Pons−Moll、およびPeter V Gehler。A generative model of people in clothing. arXiv preprint arXiv:1705.04098、2017。
[29]Tsung−Yi Lin、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr、およびC Lawrence Zitnick。Microsoft COCO:Common objects in context. Proc. of European on Computer Vision、(ECCV)、740〜755頁、2014。
[30]Fang Lu、Fa Wu、Peijun Hu、Zhiyi Peng、およびDexing Kong。Automatic 3D liver location and segmentation via convolutional neural network and graph cut. International Journal of Computer Radiology and Surgery、12(2):171〜182、2017。
[31]Liqian Ma、Xu Jia、Qianru Sun、Bernt Schiele、Tinne Tuytelaars、およびLuc Van Gool。Pose guided person image generation. Advances in Neural Information Processing Systems、NIPS、405〜415頁、2017。
[32]Toshiyuki Okada、Marius George Linguraru、Masatoshi Hori、Ronald M Summers、Noriyuki Tomiyama、およびYoshinobu Sato。Abdominal multi−organ segmentation from CT images using conditional shape−location and unsupervised intensity priors. Medical Image Analysis、26(1):1〜18、2015。
[33]Bruno Oliveira、Sandro Queiros、Pedro Morais、Helena R Torres、Joao Gomes−Fonseca、Jaime C Fonseca、およびJoao L Vilaca。A novel multi−atlas strategy with dense deformation field reconstruction for abdominal and thoracic multi−organ segmentation from computed tomography. Medical Image Analysis、45:108〜120、2018。
[34]Sylvestre−Alvise Rebuffi、Hakan Bilen、およびAndrea Vedaldi。Learning multiple visual domains with residual adapters. Advances in Neural Information Processing Systems、NIPS、506〜516頁、2017。
[35]Scott E Reed、Zeynep Akata、Santosh Mohan、Samuel Tenka、Bernt Schiele、およびHonglak Lee。Learning what and where to draw. Advances in Neural Information Processing Systems、NIPS、217〜225頁、2016。
[36]Holger R Roth、Le Lu、Amal Farag、Hoo−Chang Shin、Jiamin Liu、Evrim B Turkbey、およびRonald M Summers。Deeporgan:Multi−level deep convolutional networks for automated pancreas segmentation. Proc. of International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、556〜564頁、2015。
[37]Holger R Roth、Hirohisa Oda、Yuichiro Hayashi、Masahiro Oda、Natsuki Shimizu、Michitaka Fujiwara、Kazunari Misawa、およびKensaku Mori。Hierarchical 3D fully convolutional networks for multi−organ segmentation. arXiv preprint arXiv:1704.06382、2017。
[38]Aaron van den Oord、Nal Kalchbrenner、Lasse Espeholt、Oriol Vinyals、Alex Gravesら。Conditional image generation with pixelcnn decoders. Advances in Neural Information Processing Systems、NIPS、4790〜4798頁、2016。
[39]Robin Wolz、Chengwen Chu、Kazunari Misawa、Kensaku Mori、およびDaniel Rueckert。Multi−organ abdominal CT segmentation using hierarchically weighted subject−specific atlases. Proc. Of International Conference on Medical Image Computing and Computer−Assisted Intervention(MICCAI)、10〜17頁、2012。
[40]Tianfan Xue、Jiajun Wu、Katherine Bouman、およびBill Freeman。Visual dynamics:Probabilistic future frame synthesis via cross convolutional networks. Advances in Neural Information Processing Systems、NIPS、91〜99頁、2016。
[41]Xinchen Yan、Jimei Yang、Kihyuk Sohn、およびHonglak Lee。Attribute2image:Conditional image generation from visual attributes. Proc. of European Conference on Computer Vision、(ECCV)、776〜791頁、2016。
[42]Dong Yang、Daguang Xu、S Kevin Zhou、Bogdan Georgescu、Mingqing Chen、Sasa Grbic、Dimitris Metaxas、およびDorin Comaniciu。Automatic liver segmentation using an adversarial image−to−image network. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、507〜515頁、2017。
[43]Yuyin Zhou、Lingxi Xie、Wei Shen、Yan Wang、Elliot K Fishman、およびAlan L Yuille。A fixed−point model for pancreas segmentation in abdominal CT scans. International Conference on Medical Image Computing and Computer−Assisted Intervention、(MICCAI)、693〜701頁、2017。
[44]Jun−Yan Zhu、Richard Zhang、Deepak Pathak、Trevor Darrell、Alexei A Efros、Oliver Wang、およびEli Shechtman。Toward multimodal image−to−image translation. Advances in Neural Information Processing Systems、NIPS、465〜476頁、2017。
Claims (87)
- 医用イメージング・データを使用して、少なくとも1つの嚢胞性病変についてスクリーニングするためのコンピュータ実行可能命令を記憶している非一時的コンピュータ・アクセス可能媒体であって、コンピュータ装置は、前記命令を実行するとき、
少なくとも1人の患者の少なくとも1つの器官に対する第1のイメージング情報を受信することと、
前記少なくとも1つの嚢胞性病変を指し示す少なくとも1つの組織タイプを含む、複数の組織タイプを識別するために、前記第1のイメージング情報に対してセグメンテーション動作を遂行することにより第2のイメージング情報を生成することと、
前記第2のイメージング情報内の前記少なくとも1つの嚢胞性病変を識別することと、
第1の分類器および第2の分類器を前記少なくとも1つの嚢胞性病変に適用して、複数の嚢胞性病変タイプのうちの1つまたは複数へと前記少なくとも1つの嚢胞性病変を分類することと
を含む手順を遂行するように構成される、非一時的コンピュータ・アクセス可能媒体。 - 前記第1の分類器は、ランダム・フォレスト(RF)分類器であり、前記第2の分類器は、畳み込みニューラル・ネットワーク分類器(CNN)である、請求項1に記載のコンピュータ・アクセス可能媒体。
- 前記CNNは、少なくとも6つの畳み込み層を含む、請求項2に記載のコンピュータ・アクセス可能媒体。
- 前記少なくとも6つの畳み込み層は、少なくとも1つの最大プーリング層と、少なくとも1つのドロップアウト層と、少なくとも1つの全結合層とを含む、請求項3に記載のコンピュータ・アクセス可能媒体。
- 前記少なくとも1つの最大プーリング層は、3つの最大プーリング層を含み、前記少なくとも1つのドロップアウト層は、2つのドロップアウト層を含み、前記少なくとも1つの全結合層は、3つの全結合層を含む、請求項4に記載のコンピュータ・アクセス可能媒体。
- 前記3つの全結合層は、前記2つのドロップアウト層を含む、請求項5に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記第2のイメージング情報を、前記第1のイメージング情報を前景および背景へとセグメンテーションすることにより生成するように構成される、請求項1に記載のコンピュータ・アクセス可能媒体。
- 前記前景は、膵臓腺を含み、前記背景は、複数のさらなる嚢胞性病変を含む、請求項7に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記第2の情報を、前記前景および前記背景に対する複数のセグメンテーション輪郭を生成することにより生成するようにさらに構成される、請求項7に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記第1の分類器を、前記少なくとも1人の患者に対する少なくとも1つの特性を分析することにより適用するように構成され、前記少なくとも1つの特性は、(i)前記少なくとも1人の患者の年齢、(ii)前記少なくとも1人の患者の性別、(iii)膵臓腺においての前記少なくとも1つの嚢胞性病変の場所、(iv)前記少なくとも1つの嚢胞性病変の形状、または(iv)前記少なくとも1つの嚢胞性病変の強度特性のうちの少なくとも1つを含む、請求項9に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記少なくとも1つの特性を、前記前景の前記セグメンテーション輪郭または強度特性のうちの少なくとも1つに基づいて生成するようにさらに構成される、請求項10に記載のコンピュータ・アクセス可能媒体。
- 前記セグメンテーション動作は、自動化されたセグメンテーション手順である、請求項1に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記第2のイメージング情報を、
前記第1のイメージング情報を、少なくとも1人のユーザに表示することと、
前記第1のイメージング情報を、前記少なくとも1人のユーザから受信される入力に基づいてセグメンテーションすることと
により生成するように構成される、請求項1に記載のコンピュータ・アクセス可能媒体。 - 前記コンピュータ装置は、
クラス確率の第1のセットを生成するために、前記第1の分類器を前記少なくとも1つの嚢胞性病変に適用することと、
クラス確率の第2のセットを生成するために、前記第2の分類器を前記少なくとも1つの嚢胞性病変に適用することと
を行うように構成される、請求項1に記載のコンピュータ・アクセス可能媒体。 - 前記コンピュータ装置は、ベイジアン組み合わせをクラス確率の前記第1のセット、および、クラス確率の前記第2のセットに適用することにより、前記少なくとも1つの嚢胞性病変を分類するように構成される、請求項14に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記少なくとも1つの嚢胞性病変を、(i)膵管内乳頭粘液性腫瘍、(ii)粘液性嚢胞腫瘍、(iii)漿液性嚢胞腺腫、または(iv)充実性偽乳頭状腫瘍のうちの少なくとも1つとして分類するように構成される、請求項1に記載のコンピュータ・アクセス可能媒体。
- 前記分類は、前記少なくとも1つの嚢胞性病変が、(i)前記膵管内乳頭粘液性腫瘍、(ii)前記粘液性嚢胞腫瘍、(iii)前記漿液性嚢胞腺腫、または(iv)前記充実性偽乳頭状腫瘍のうちの前記少なくとも1つであるという確率を含む、請求項16に記載のコンピュータ・アクセス可能媒体。
- 前記少なくとも1つの嚢胞性病変は、前記少なくとも1人の患者の膵臓において場所決めされる、請求項1に記載のコンピュータ・アクセス可能媒体。
- 前記第1のイメージング情報は、磁気共鳴イメージング情報またはコンピュータ断層撮影法イメージング情報を含む、請求項1に記載のコンピュータ・アクセス可能媒体。
- 医用イメージング・データを使用して、少なくとも1つの嚢胞性病変についてスクリーニングするためのシステムであって、
少なくとも1人の患者の少なくとも1つの器官に対する第1のイメージング情報を受信することと、
前記少なくとも1つの嚢胞性病変を指し示す少なくとも1つの組織タイプを含む、複数の組織タイプを識別するために、前記第1のイメージング情報に対してセグメンテーション動作を遂行することにより第2のイメージング情報を生成することと、
前記第2のイメージング情報内の前記少なくとも1つの嚢胞性病変を識別することと、
第1の分類器および第2の分類器を前記少なくとも1つの嚢胞性病変に適用して、複数の嚢胞性病変タイプのうちの1つまたは複数へと前記少なくとも1つの嚢胞性病変を分類することと
を行うように構成されるコンピュータ・ハードウェア装置
を備える、システム。 - 前記第1の分類器は、ランダム・フォレスト(RF)分類器であり、前記第2の分類器は、畳み込みニューラル・ネットワーク分類器(CNN)である、請求項20に記載のシステム。
- 前記CNNは、少なくとも6つの畳み込み層を含む、請求項21に記載のシステム。
- 前記少なくとも6つの畳み込み層は、少なくとも1つの最大プーリング層と、少なくとも1つのドロップアウト層と、少なくとも1つの全結合層とを含む、請求項22に記載のシステム。
- 前記少なくとも1つの最大プーリング層は、3つの最大プーリング層を含み、前記少なくとも1つのドロップアウト層は、2つのドロップアウト層を含み、前記少なくとも1つの全結合層は、3つの全結合層を含む、請求項23に記載のシステム。
- 前記3つの全結合層は、前記2つのドロップアウト層を含む、請求項24に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記第2のイメージング情報を、前記第1のイメージング情報を前景および背景へとセグメンテーションすることにより生成するように構成される、請求項20に記載のシステム。
- 前記前景は、膵臓腺を含み、前記背景は、複数のさらなる嚢胞性病変を含む、請求項26に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記第2の情報を、前記前景および前記背景に対する複数のセグメンテーション輪郭を生成することにより生成するようにさらに構成される、請求項26に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記第1の分類器を、前記少なくとも1人の患者に対する少なくとも1つの特性を分析することにより適用するように構成され、前記少なくとも1つの特性は、(i)前記少なくとも1人の患者の年齢、(ii)前記少なくとも1人の患者の性別、(iii)膵臓腺においての前記少なくとも1つの嚢胞性病変の場所、(iv)前記少なくとも1つの嚢胞性病変の形状、または(iv)前記少なくとも1つの嚢胞性病変の強度特性のうちの少なくとも1つを含む、請求項28に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記少なくとも1つの特性を、前記前景の前記セグメンテーション輪郭または強度特性のうちの少なくとも1つに基づいて生成するようにさらに構成される、請求項29に記載のシステム。
- 前記セグメンテーション動作は、自動化されたセグメンテーション手順である、請求項20に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記第2のイメージング情報を、
前記第1のイメージング情報を、少なくとも1人のユーザに表示することと、
前記第1のイメージング情報を、前記少なくとも1人のユーザから受信される入力に基づいてセグメンテーションすることと
により生成するように構成される、請求項20に記載のシステム。 - 前記コンピュータ・ハードウェア装置は、
クラス確率の第1のセットを生成するために、前記第1の分類器を前記少なくとも1つの嚢胞性病変に適用することと、
クラス確率の第2のセットを生成するために、前記第2の分類器を前記少なくとも1つの嚢胞性病変に適用することと
を行うように構成される、請求項20に記載のシステム。 - 前記コンピュータ・ハードウェア装置は、ベイジアン組み合わせをクラス確率の前記第1のセット、および、クラス確率の前記第2のセットに適用することにより、前記少なくとも1つの嚢胞性病変を分類するように構成される、請求項33に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記少なくとも1つの嚢胞性病変を、(i)膵管内乳頭粘液性腫瘍、(ii)粘液性嚢胞腫瘍、(iii)漿液性嚢胞腺腫、または(iv)充実性偽乳頭状腫瘍のうちの少なくとも1つとして分類するように構成される、請求項20に記載のシステム。
- 前記分類は、前記少なくとも1つの嚢胞性病変が、(i)前記膵管内乳頭粘液性腫瘍、(ii)前記粘液性嚢胞腫瘍、(iii)前記漿液性嚢胞腺腫、または(iv)前記充実性偽乳頭状腫瘍のうちの前記少なくとも1つであるという確率を含む、請求項35に記載のシステム。
- 前記少なくとも1つの嚢胞性病変は、前記少なくとも1人の患者の膵臓において場所決めされる、請求項20に記載のシステム。
- 前記第1のイメージング情報は、磁気共鳴イメージング情報またはコンピュータ断層撮影法イメージング情報を含む、請求項20に記載のシステム。
- 医用イメージング・データを使用して、少なくとも1つの嚢胞性病変についてスクリーニングするための方法であって、
少なくとも1人の患者の少なくとも1つの器官に対する第1のイメージング情報を受信するステップと、
前記少なくとも1つの嚢胞性病変を指し示す少なくとも1つの組織タイプを含む、複数の組織タイプを識別するために、前記第1のイメージング情報に対してセグメンテーション動作を遂行することにより第2のイメージング情報を生成するステップと、
前記第2のイメージング情報内の前記少なくとも1つの嚢胞性病変を識別するステップと、
コンピュータ・ハードウェア装置を使用して、第1の分類器および第2の分類器を前記少なくとも1つの嚢胞性病変に適用して、複数の嚢胞性病変タイプのうちの1つまたは複数へと前記少なくとも1つの嚢胞性病変を分類するステップと
を含む、方法。 - 前記第1の分類器は、ランダム・フォレスト(RF)分類器であり、前記第2の分類器は、畳み込みニューラル・ネットワーク分類器(CNN)である、請求項39に記載の方法。
- 前記CNNは、少なくとも6つの畳み込み層を含む、請求項40に記載の方法。
- 前記少なくとも6つの畳み込み層は、少なくとも1つの最大プーリング層と、少なくとも1つのドロップアウト層と、少なくとも1つの全結合層とを含む、請求項41に記載の方法。
- 前記少なくとも1つの最大プーリング層は、3つの最大プーリング層を含み、前記少なくとも1つのドロップアウト層は、2つのドロップアウト層を含み、前記少なくとも1つの全結合層は、3つの全結合層を含む、請求項42に記載の方法。
- 前記3つの全結合層は、前記2つのドロップアウト層を含む、請求項43に記載の方法。
- 前記第2のイメージング情報を、前記第1のイメージング情報を前景および背景へとセグメンテーションすることにより生成するステップをさらに含む、請求項39に記載の方法。
- 前記前景は、膵臓腺を含み、前記背景は、複数のさらなる嚢胞性病変を含む、請求項45に記載の方法。
- 前記第2の情報を、前記前景および前記背景に対する複数のセグメンテーション輪郭を生成することにより生成するステップをさらに含む、請求項45に記載の方法。
- 前記第1の分類器を、前記少なくとも1人の患者に対する少なくとも1つの特性を分析することにより適用するステップをさらに含み、前記少なくとも1つの特性は、(i)前記少なくとも1人の患者の年齢、(ii)前記少なくとも1人の患者の性別、(iii)膵臓腺においての前記少なくとも1つの嚢胞性病変の場所、(iv)前記少なくとも1つの嚢胞性病変の形状、または(iv)前記少なくとも1つの嚢胞性病変の強度特性のうちの少なくとも1つを含む、請求項47に記載の方法。
- 前記少なくとも1つの特性を、前記前景の前記セグメンテーション輪郭または強度特性のうちの少なくとも1つに基づいて生成するステップをさらに含む、請求項48に記載の方法。
- 前記セグメンテーション動作は、自動化されたセグメンテーション手順である、請求項39に記載の方法。
- 前記第2のイメージング情報を、
前記第1のイメージング情報を、少なくとも1人のユーザに表示することと、
前記第1のイメージング情報を、前記少なくとも1人のユーザから受信される入力に基づいてセグメンテーションすることと
により生成するステップをさらに含む、請求項39に記載の方法。 - クラス確率の第1のセットを生成するために、前記第1の分類器を前記少なくとも1つの嚢胞性病変に適用するステップと、
クラス確率の第2のセットを生成するために、前記第2の分類器を前記少なくとも1つの嚢胞性病変に適用するステップと
をさらに含む、請求項39に記載の方法。 - ベイジアン組み合わせをクラス確率の前記第1のセット、および、クラス確率の前記第2のセットに適用することにより、前記少なくとも1つの嚢胞性病変を分類するステップをさらに含む、請求項52に記載の方法。
- 前記少なくとも1つの嚢胞性病変を、(i)膵管内乳頭粘液性腫瘍、(ii)粘液性嚢胞腫瘍、(iii)漿液性嚢胞腺腫、または(iv)充実性偽乳頭状腫瘍のうちの少なくとも1つとして分類するステップをさらに含む、請求項39に記載の方法。
- 前記分類は、前記少なくとも1つの嚢胞性病変が、(i)前記膵管内乳頭粘液性腫瘍、(ii)前記粘液性嚢胞腫瘍、(iii)前記漿液性嚢胞腺腫、または(iv)前記充実性偽乳頭状腫瘍のうちの前記少なくとも1つであるという確率を含む、請求項54に記載の方法。
- 前記少なくとも1つの嚢胞性病変は、前記少なくとも1人の患者の膵臓において場所決めされる、請求項39に記載の方法。
- 前記第1のイメージング情報は、磁気共鳴イメージング情報またはコンピュータ断層撮影法イメージング情報を含む、請求項39に記載の方法。
- 少なくとも1つの解剖学的構造のマルチ・ラベル・セグメンテーションのためのコンピュータ実行可能命令を記憶している非一時的コンピュータ・アクセス可能媒体であって、コンピュータ装置は、前記命令を実行するとき、
前記少なくとも1つの解剖学的構造に対する複数の単一ラベル・データセットに関係付けられる第1のイメージング情報を受信することと、
前記少なくとも1つの解剖学的構造に対する複数のクラス・ラベルに関係付けられる第2の情報を受信することと、
畳み込みニューラル・ネットワーク(CNN)を使用して前記第1のイメージング情報に基づいて前記第2の情報を符号化することにより、第3の情報を生成することと、
前記CNNを使用して前記第3の情報を復号化することにより、第4の情報を生成することと、
前記少なくとも1つの解剖学的構造を、前記第4の情報に基づいてセグメンテーションすることと
を含む手順を遂行するように構成される、非一時的コンピュータ・アクセス可能媒体。 - 前記コンピュータ装置は、
前記第3の情報を、複数の符号化層を使用して生成することと、
前記第4の情報を、複数の復号化層を使用して生成することと
を行うように構成される、請求項58に記載のコンピュータ・アクセス可能媒体。 - 前記コンピュータ装置は、
前記符号化層のうちの1つに対する特徴マップを前記符号化層のうちの前の1つに基づいて連結することにより、前記第3の情報を生成することと、
前記復号化層のうちの1つに対する特徴マップを前記復号化層のうちの前の1つに基づいて連結することにより、前記第4の情報を生成することと
を行うようにさらに構成される、請求項59に記載のコンピュータ・アクセス可能媒体。 - 前記符号化層は、少なくとも1つの畳み込み層と、少なくとも3つの最大プーリング層とを含む、請求項59に記載のコンピュータ・アクセス可能媒体。
- 前記符号化層は、各々の密なブロック内に、各々の密なブロックの深さに比例する、特定の数の特徴チャネルを含む、請求項61に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、前記符号化層とトポロジー的に対称である、アップサンプリング層としての、ストライドを有する複数の転置畳み込みを使用して、前記第4の情報を生成するように構成される、請求項59に記載のコンピュータ・アクセス可能媒体。
- 前記復号化層のうちの1つは、シグモイド関数を含む、請求項59に記載のコンピュータ・アクセス可能媒体。
- 前記少なくとも1つの解剖学的構造は、少なくとも1つの腹部器官である、請求項58に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、(i)前記符号化層または(ii)前記復号化層のうちの少なくとも1つを条件付けするようにさらに構成される、請求項59に記載のコンピュータ・アクセス可能媒体。
- 前記コンピュータ装置は、(i)前記符号化層または(ii)前記復号化層のうちの前記少なくとも1つを、セグメンテーションされるターゲット・ラベルを使用して条件付けするように構成される、請求項66に記載のコンピュータ・アクセス可能媒体。
- 少なくとも1つの解剖学的構造のマルチ・ラベル・セグメンテーションのためのシステムであって、
前記少なくとも1つの解剖学的構造に対する複数の単一ラベル・データセットに関係付けられる第1のイメージング情報を受信することと、
前記少なくとも1つの解剖学的構造に対する複数のクラス・ラベルに関係付けられる第2の情報を受信することと、
畳み込みニューラル・ネットワーク(CNN)を使用して前記第1のイメージング情報に基づいて前記第2の情報を符号化することにより、第3の情報を生成することと、
前記CNNを使用して前記第3の情報を復号化することにより、第4の情報を生成することと、
前記少なくとも1つの解剖学的構造を、前記第4の情報に基づいてセグメンテーションすることと
を行うように構成されるコンピュータ・ハードウェア装置
を備える、システム。 - 前記コンピュータ・ハードウェア装置は、
前記第3の情報を、複数の符号化層を使用して生成することと、
前記第4の情報を、複数の復号化層を使用して生成することと
を行うように構成される、請求項68に記載のシステム。 - 前記コンピュータ・ハードウェア装置は、
前記符号化層のうちの1つに対する特徴マップを前記符号化層のうちの前の1つに基づいて連結することにより、前記第3の情報を生成することと、
前記復号化層のうちの1つに対する特徴マップを前記復号化層のうちの前の1つに基づいて連結することにより、前記第4の情報を生成することと
を行うようにさらに構成される、請求項69に記載のシステム。 - 前記符号化層は、少なくとも1つの畳み込み層と、少なくとも3つの最大プーリング層とを含む、請求項69に記載のシステム。
- 前記符号化層は、各々の密なブロック内に、各々の密なブロックの深さに比例する、特定の数の特徴チャネルを含む、請求項71に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、前記符号化層とトポロジー的に対称である、アップサンプリング層としての、ストライドを有する複数の転置畳み込みを使用して、前記第4の情報を生成するように構成される、請求項69に記載のシステム。
- 前記復号化層のうちの1つは、シグモイド関数を含む、請求項69に記載のシステム。
- 前記少なくとも1つの解剖学的構造は、少なくとも1つの腹部器官である、請求項68に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、(i)前記符号化層または(ii)前記復号化層のうちの少なくとも1つを条件付けするようにさらに構成される、請求項69に記載のシステム。
- 前記コンピュータ・ハードウェア装置は、(i)前記符号化層または(ii)前記復号化層のうちの前記少なくとも1つを、セグメンテーションされるターゲット・ラベルを使用して条件付けするように構成される、請求項76に記載のシステム。
- 少なくとも1つの解剖学的構造のマルチ・ラベル・セグメンテーションのための方法であって、
前記少なくとも1つの解剖学的構造に対する複数の単一ラベル・データセットに関係付けられる第1のイメージング情報を受信するステップと、
前記少なくとも1つの解剖学的構造に対する複数のクラス・ラベルに関係付けられる第2の情報を受信するステップと、
畳み込みニューラル・ネットワーク(CNN)を使用して前記第1のイメージング情報に基づいて前記第2の情報を符号化することにより、第3の情報を生成するステップと、
前記CNNを使用して前記第3の情報を復号化することにより、第4の情報を生成するステップと、
コンピュータ・ハードウェア装置を使用して、前記少なくとも1つの解剖学的構造を、前記第4の情報に基づいてセグメンテーションするステップと
を含む、方法。 - 前記第3の情報を、複数の符号化層を使用して生成するステップと、
前記第4の情報を、複数の復号化層を使用して生成するステップと
をさらに含む、請求項78に記載の方法。 - 前記符号化層のうちの1つに対する特徴マップを前記符号化層のうちの前の1つに基づいて連結することにより、前記第3の情報を生成するステップと、
前記復号化層のうちの1つに対する特徴マップを前記復号化層のうちの前の1つに基づいて連結することにより、前記第4の情報を生成するステップと
をさらに含む、請求項79に記載の方法。 - 前記符号化層は、少なくとも1つの畳み込み層と、少なくとも3つの最大プーリング層とを含む、請求項79に記載の方法。
- 前記符号化層は、各々の密なブロック内に、各々の密なブロックの深さに比例する、特定の数の特徴チャネルを含む、請求項81に記載の方法。
- 前記符号化層とトポロジー的に対称である、アップサンプリング層としての、ストライドを有する複数の転置畳み込みを使用して、前記第4の情報を生成するステップをさらに含む、請求項79に記載の方法。
- 前記復号化層のうちの1つは、シグモイド関数を含む、請求項79に記載の方法。
- 前記少なくとも1つの解剖学的構造は、少なくとも1つの腹部器官である、請求項78に記載の方法。
- (i)前記符号化層または(ii)前記復号化層のうちの少なくとも1つを条件付けするステップをさらに含む、請求項79に記載の方法。
- (i)前記符号化層または(ii)前記復号化層のうちの前記少なくとも1つを条件付けする前記ステップは、セグメンテーションされるターゲット・ラベルを使用するステップを含む、請求項86に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762524819P | 2017-06-26 | 2017-06-26 | |
US62/524,819 | 2017-06-26 | ||
PCT/US2018/039391 WO2019005722A1 (en) | 2017-06-26 | 2018-06-26 | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020525127A true JP2020525127A (ja) | 2020-08-27 |
Family
ID=64742121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571470A Pending JP2020525127A (ja) | 2017-06-26 | 2018-06-26 | 仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11348228B2 (ja) |
EP (1) | EP3646240B1 (ja) |
JP (1) | JP2020525127A (ja) |
CN (1) | CN111095263A (ja) |
CA (1) | CA3067824A1 (ja) |
WO (1) | WO2019005722A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022220221A1 (ja) * | 2021-04-16 | 2022-10-20 | 富士フイルム株式会社 | 学習装置、方法およびプログラム |
WO2022270152A1 (ja) * | 2021-06-25 | 2022-12-29 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2024116309A1 (ja) * | 2022-11-30 | 2024-06-06 | 日本電気株式会社 | 画像生成装置、学習装置、画像生成方法、およびプログラム |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3646240B1 (en) | 2017-06-26 | 2024-09-04 | The Research Foundation for The State University of New York | System, method, and computer-accessible medium for virtual pancreatography |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
EP3470006B1 (en) | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
WO2019243344A1 (en) * | 2018-06-22 | 2019-12-26 | Koninklijke Philips N.V. | Ultrasound lesion assessment and associated devices, systems, and methods |
US11064902B2 (en) * | 2018-06-29 | 2021-07-20 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
US11138392B2 (en) * | 2018-07-26 | 2021-10-05 | Google Llc | Machine translation using neural network models |
WO2020026223A1 (en) * | 2018-07-29 | 2020-02-06 | Zebra Medical Vision Ltd. | Systems and methods for automated detection of visual objects in medical images |
KR102215269B1 (ko) * | 2018-08-07 | 2021-02-15 | 주식회사 딥바이오 | 진단 결과 생성 시스템 및 방법 |
EP3608870A1 (en) | 2018-08-10 | 2020-02-12 | Holo Surgical Inc. | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure |
JP7568628B2 (ja) * | 2019-01-07 | 2024-10-16 | エクシーニ ディアグノスティクス アーべー | プラットホーム非依存の全身画像セグメント化のためのシステムおよび方法 |
US10593041B1 (en) * | 2019-02-21 | 2020-03-17 | Westside Veterinary Innovation, Llc | Methods and apparatus for the application of machine learning to radiographic images of animals |
WO2020176762A1 (en) * | 2019-02-27 | 2020-09-03 | University Of Iowa Research Foundation | Methods and systems for image segmentation and analysis |
US11704573B2 (en) * | 2019-03-25 | 2023-07-18 | Here Global B.V. | Method, apparatus, and computer program product for identifying and compensating content contributors |
US11914034B2 (en) * | 2019-04-16 | 2024-02-27 | Washington University | Ultrasound-target-shape-guided sparse regularization to improve accuracy of diffused optical tomography and target depth-regularized reconstruction in diffuse optical tomography using ultrasound segmentation as prior information |
EP3959650A4 (en) * | 2019-04-23 | 2023-05-17 | The Johns Hopkins University | ABDOMINAL MULTIORGAN SEGMENTATION WITH ORGAN WEAKNESS NETWORKS |
WO2020219915A1 (en) * | 2019-04-24 | 2020-10-29 | University Of Virginia Patent Foundation | Denoising magnetic resonance images using unsupervised deep convolutional neural networks |
JP7561140B2 (ja) | 2019-04-24 | 2024-10-03 | プロジェニクス ファーマシューティカルズ, インコーポレイテッド | 転移を検出するための骨スキャン画像の自動化された対話型の分析のためのシステムおよび方法 |
CN110209836B (zh) * | 2019-05-17 | 2022-04-26 | 北京邮电大学 | 远程监督关系抽取方法及装置 |
IT201900007806A1 (it) | 2019-05-31 | 2020-12-01 | Torino Politecnico | Metodo computerizzato per classificare una massa di un organo come ciste |
EP3751516B1 (en) * | 2019-06-11 | 2023-06-28 | Holo Surgical Inc. | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging |
EP3761032A1 (en) | 2019-07-03 | 2021-01-06 | Xyall B.V. | Determining region(s) for tissue dissection in pathology slides |
US11308623B2 (en) | 2019-07-09 | 2022-04-19 | The Johns Hopkins University | System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma |
US11341635B2 (en) * | 2019-10-31 | 2022-05-24 | Tencent America LLC | Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion |
WO2021096991A1 (en) * | 2019-11-11 | 2021-05-20 | The Johns Hopkins University | Early detection of pancreatic neoplasms using cascaded machine learning models |
WO2021102844A1 (zh) * | 2019-11-28 | 2021-06-03 | 华为技术有限公司 | 处理图像的方法、装置及系统 |
JP2023511270A (ja) * | 2020-01-13 | 2023-03-17 | シーダーズ-サイナイ メディカル センター | 膵臓のコンピュータ断層撮影画像を使用した膵管腺癌の予測 |
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
US20220027672A1 (en) * | 2020-07-27 | 2022-01-27 | Nvidia Corporation | Label Generation Using Neural Networks |
US11545267B2 (en) | 2020-08-04 | 2023-01-03 | Signalpet, Llc | Methods and apparatus for the application of reinforcement learning to animal medical diagnostics |
CA3192033A1 (en) * | 2020-09-01 | 2022-03-10 | The Research Foundation For The State University Of New York | System and method for virtual pancreatography pipeline |
CN112085760B (zh) * | 2020-09-04 | 2024-04-26 | 厦门大学 | 一种腹腔镜手术视频的前景分割方法 |
CN112116575A (zh) * | 2020-09-18 | 2020-12-22 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN112241766B (zh) * | 2020-10-27 | 2023-04-18 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
US11610306B2 (en) | 2020-12-16 | 2023-03-21 | Industrial Technology Research Institute | Medical image analysis method and device |
CN112699948A (zh) * | 2020-12-31 | 2021-04-23 | 无锡祥生医疗科技股份有限公司 | 超声乳腺病灶的分类方法、装置及存储介质 |
CN113192076B (zh) * | 2021-04-09 | 2022-03-15 | 湖北工业大学 | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
US20230033075A1 (en) * | 2021-07-13 | 2023-02-02 | Nvidia Corporation | Image annotation using one or more neural networks |
US20230046564A1 (en) * | 2021-07-16 | 2023-02-16 | Aiq Solutions, Inc. | Assessment of disease treatment |
CN113344926B (zh) * | 2021-08-05 | 2021-11-02 | 武汉楚精灵医疗科技有限公司 | 胆胰超声图像识别方法、装置、服务器及存储介质 |
EP4141785A1 (en) | 2021-08-30 | 2023-03-01 | Sycai Technologies, Sl | Method and computer program for the automatic classification of pancreatic cysts |
JP2024537148A (ja) * | 2021-10-05 | 2024-10-10 | グーグル エルエルシー | ベクトル量子化した画像モデリング |
CN114119627B (zh) * | 2021-10-19 | 2022-05-17 | 北京科技大学 | 基于深度学习的高温合金微观组织图像分割方法及装置 |
EP4293613A1 (de) * | 2022-06-19 | 2023-12-20 | Bayer AG | Identifizieren und charakterisieren von zystischen läsionen der bauchspeicheldrüse |
Family Cites Families (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5311131A (en) | 1992-05-15 | 1994-05-10 | Board Of Regents Of The University Of Washington | Magnetic resonance imaging using pattern recognition |
JP2003515368A (ja) | 1999-11-24 | 2003-05-07 | コンファーマ インコーポレイテッド | 画像が向上した視覚表示を得るための類似データのたたみこみフィルタリング。 |
US6574304B1 (en) | 2002-09-13 | 2003-06-03 | Ge Medical Systems Global Technology Company, Llc | Computer aided acquisition of medical images |
US20040068167A1 (en) | 2002-09-13 | 2004-04-08 | Jiang Hsieh | Computer aided processing of medical images |
US7187790B2 (en) | 2002-12-18 | 2007-03-06 | Ge Medical Systems Global Technology Company, Llc | Data processing and feedback method and system |
US8843356B2 (en) * | 2002-12-27 | 2014-09-23 | Merck Sharp & Dohme Corp. | Computer systems and methods for associating genes with traits using cross species data |
US20040254503A1 (en) | 2003-06-13 | 2004-12-16 | Sarvazyan Armen P. | Internet-based system and a method for automated analysis of tactile imaging data and detection of lesions |
US7447341B2 (en) | 2003-11-26 | 2008-11-04 | Ge Medical Systems Global Technology Company, Llc | Methods and systems for computer aided targeting |
US20050129297A1 (en) | 2003-12-15 | 2005-06-16 | Kamath Vidya P. | Classification of breast lesion method and system |
WO2005069223A2 (en) * | 2004-01-15 | 2005-07-28 | Algotec Systems Ltd. | Vessel centerline determination |
US7298881B2 (en) | 2004-02-13 | 2007-11-20 | University Of Chicago | Method, system, and computer software product for feature-based correlation of lesions from multiple images |
EP1769086A2 (en) * | 2004-07-18 | 2007-04-04 | Epigenomics AG | Epigenetic methods and nucleic acids for the detection of breast cell proliferative disorders |
EP1828961A2 (en) | 2004-12-17 | 2007-09-05 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatically developing a high performance classifier for producing medically meaningful descriptors in medical diagnosis imaging |
WO2006069379A2 (en) | 2004-12-22 | 2006-06-29 | Bio-Tree Systems, Inc. | Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor |
WO2007050437A2 (en) * | 2005-10-21 | 2007-05-03 | The General Hospital Corporation | Methods and apparatus for segmentation and reconstruction for endovascular and endoluminal anatomical structures |
ATE553457T1 (de) | 2006-06-28 | 2012-04-15 | Bio Tree Systems Inc | Binned-micro-vessel-dichteverfahren und vorrichtungen |
US20080234578A1 (en) | 2007-03-19 | 2008-09-25 | General Electric Company | Multi-modality mammography reconstruction method and system |
DE102007017269A1 (de) | 2007-04-12 | 2008-10-16 | Siemens Ag | Bildakquisitionssystem und -verfahren zur Durchführung von CT- bwz. MRT-gesteuerten Interventionen in Korrelation mit der Atemlage eines Patienten |
US8090172B2 (en) | 2007-09-12 | 2012-01-03 | Siemens Medical Solutions Usa, Inc. | Robust segmentation of breast and muscle in MRI |
US8150121B2 (en) | 2008-05-06 | 2012-04-03 | Carestream Health, Inc. | Information collection for segmentation of an anatomical object of interest |
US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
US20100158332A1 (en) | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
US20120150048A1 (en) | 2009-03-06 | 2012-06-14 | Bio-Tree Systems, Inc. | Vascular analysis methods and apparatus |
US20120231480A1 (en) * | 2009-08-27 | 2012-09-13 | Indiana University Research & Technology Corporation | Materials and methods for the differential diagnosis of pacreatic lesions |
US8503747B2 (en) * | 2010-05-03 | 2013-08-06 | Sti Medical Systems, Llc | Image analysis for cervical neoplasia detection and diagnosis |
US10041910B2 (en) * | 2010-11-14 | 2018-08-07 | University Of Utah Research Foundation | Method and system with oppositely-facing ultrasonic transducers for determining tissue pathology |
US9208556B2 (en) | 2010-11-26 | 2015-12-08 | Quantitative Insights, Inc. | Method, system, software and medium for advanced intelligent image analysis and display of medical images and information |
US8913807B1 (en) | 2010-12-30 | 2014-12-16 | Given Imaging Ltd. | System and method for detecting anomalies in a tissue imaged in-vivo |
KR101805624B1 (ko) | 2011-08-29 | 2017-12-08 | 삼성전자주식회사 | 장기 모델 영상 생성 방법 및 장치 |
GB201121959D0 (en) * | 2011-12-21 | 2012-02-01 | Univ Leeds | Assay of functional cell viability |
US10631780B2 (en) | 2012-12-05 | 2020-04-28 | Philips Image Guided Therapy Corporation | System and method for non-invasive tissue characterization |
KR102042202B1 (ko) | 2013-02-25 | 2019-11-08 | 삼성전자주식회사 | 의료영상에서 병변을 분할하는 장치 및 방법 |
WO2014143974A1 (en) | 2013-03-15 | 2014-09-18 | Bio-Tree Systems, Inc. | Methods and system for linking geometry obtained from images |
GB201307590D0 (en) | 2013-04-26 | 2013-06-12 | St Georges Hosp Medical School | Processing imaging data to obtain tissue type information |
US9655563B2 (en) | 2013-09-25 | 2017-05-23 | Siemens Healthcare Gmbh | Early therapy response assessment of lesions |
KR102204437B1 (ko) | 2013-10-24 | 2021-01-18 | 삼성전자주식회사 | 컴퓨터 보조 진단 방법 및 장치 |
KR20150098119A (ko) | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
KR20150108701A (ko) | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
US9959486B2 (en) | 2014-10-20 | 2018-05-01 | Siemens Healthcare Gmbh | Voxel-level machine learning with or without cloud-based support in medical imaging |
US20160217262A1 (en) | 2015-01-26 | 2016-07-28 | International Business Machines Corporation | Medical Imaging Region-of-Interest Detection Employing Visual-Textual Relationship Modelling. |
CN107646089B (zh) * | 2015-03-06 | 2020-12-08 | 英国质谱公司 | 光谱分析 |
US20160321427A1 (en) | 2015-04-28 | 2016-11-03 | Siemens Medical Solutions Usa, Inc. | Patient-Specific Therapy Planning Support Using Patient Matching |
CN104992191B (zh) * | 2015-07-23 | 2018-01-26 | 厦门大学 | 基于深度学习的特征和最大置信路径的图像分类方法 |
CN108292366B (zh) * | 2015-09-10 | 2022-03-18 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的系统和方法 |
CN105447872A (zh) | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
GB2549459B (en) * | 2016-04-12 | 2020-06-03 | Perspectum Diagnostics Ltd | Method and apparatus for generating quantitative data for biliary tree structures |
US10650512B2 (en) | 2016-06-14 | 2020-05-12 | The Regents Of The University Of Michigan | Systems and methods for topographical characterization of medical image data |
US10176569B2 (en) | 2016-09-07 | 2019-01-08 | International Business Machines Corporation | Multiple algorithm lesion segmentation |
CN108229509B (zh) * | 2016-12-16 | 2021-02-26 | 北京市商汤科技开发有限公司 | 用于识别物体类别的方法及装置、电子设备 |
US10580131B2 (en) | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
US10052026B1 (en) * | 2017-03-06 | 2018-08-21 | Bao Tran | Smart mirror |
JP6837376B2 (ja) | 2017-04-10 | 2021-03-03 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
EP3616120B1 (en) * | 2017-04-27 | 2024-09-04 | Retinascan Limited | System and method for automated funduscopic image analysis |
US20200063215A1 (en) * | 2017-05-03 | 2020-02-27 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Theranostic tools for management of pancreatic cancer and its precursors |
US10115197B1 (en) | 2017-06-06 | 2018-10-30 | Imam Abdulrahman Bin Faisal University | Apparatus and method for lesions segmentation |
CN107292889B (zh) | 2017-06-14 | 2020-09-25 | 上海联影医疗科技有限公司 | 一种肿瘤分割的方法、系统和可读介质 |
EP3646240B1 (en) | 2017-06-26 | 2024-09-04 | The Research Foundation for The State University of New York | System, method, and computer-accessible medium for virtual pancreatography |
US10796464B2 (en) | 2017-08-25 | 2020-10-06 | Siemens Healthcare Gmbh | Selective image reconstruction |
WO2019061202A1 (en) | 2017-09-28 | 2019-04-04 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR PROCESSING COLON IMAGE DATA |
WO2019070775A1 (en) | 2017-10-03 | 2019-04-11 | Ohio State Innovation Foundation | SYSTEM AND METHOD FOR IMAGE SEGMENTATION AND DIGITAL ANALYSIS FOR CLINICAL TRIAL NOTATION IN SKIN DISEASE |
US11264135B2 (en) | 2017-11-10 | 2022-03-01 | Siemens Medical Solutions Usa, Inc. | Machine-aided workflow in ultrasound imaging |
WO2019104096A1 (en) | 2017-11-22 | 2019-05-31 | General Electric Company | Multi-modal computer-aided diagnosis systems and methods for prostate cancer |
US11893729B2 (en) | 2017-11-22 | 2024-02-06 | GE Precision Healthcare LLC | Multi-modal computer-aided diagnosis systems and methods for prostate cancer |
US20200372636A1 (en) | 2017-11-22 | 2020-11-26 | The Trustees Of Columbia University In The City Of New York | System method and computer-accessible medium for determining breast cancer response using a convolutional neural network |
EP3489861A1 (en) | 2017-11-24 | 2019-05-29 | Siemens Healthcare GmbH | Computer-based diagnostic system |
EP3493159B1 (en) | 2017-11-30 | 2023-11-29 | Siemens Healthcare GmbH | Method and system for evaluation of tumor tissue by unfolding morphological and texture properties |
CN108447046B (zh) | 2018-02-05 | 2019-07-26 | 龙马智芯(珠海横琴)科技有限公司 | 病灶的检测方法和装置、计算机可读存储介质 |
US20190246946A1 (en) | 2018-02-15 | 2019-08-15 | Covidien Lp | 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking |
CA3092352A1 (en) * | 2018-02-27 | 2019-09-06 | Cornell University | Systems and methods for detection of residual disease |
WO2019204520A1 (en) | 2018-04-17 | 2019-10-24 | VideaHealth, Inc. | Dental image feature detection |
EP3784139A4 (en) | 2018-04-27 | 2021-12-29 | Delphinus Medical Technologies, Inc. | System and method for feature extraction and classification on ultrasound tomography images |
US11138731B2 (en) | 2018-05-30 | 2021-10-05 | Siemens Healthcare Gmbh | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium |
WO2019241155A1 (en) | 2018-06-11 | 2019-12-19 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
WO2019243344A1 (en) | 2018-06-22 | 2019-12-26 | Koninklijke Philips N.V. | Ultrasound lesion assessment and associated devices, systems, and methods |
US11064902B2 (en) | 2018-06-29 | 2021-07-20 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
EP3611733B1 (en) | 2018-08-15 | 2024-09-25 | Siemens Healthineers AG | Searching a medical reference image |
JP6987721B2 (ja) | 2018-08-31 | 2022-01-05 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2020056101A1 (en) | 2018-09-12 | 2020-03-19 | Sanford Health | Lymph node detection system and methods for use |
US11508168B2 (en) * | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
CN113164142B (zh) | 2018-11-27 | 2024-04-30 | 富士胶片株式会社 | 相似度确定装置、方法及程序 |
JP7091475B2 (ja) | 2018-11-27 | 2022-06-27 | 富士フイルム株式会社 | 類似度決定装置、方法およびプログラム |
CN109685809B (zh) | 2018-12-18 | 2020-11-17 | 清华大学 | 一种基于神经网络的肝包虫病灶分割方法及系统 |
JP7568628B2 (ja) * | 2019-01-07 | 2024-10-16 | エクシーニ ディアグノスティクス アーべー | プラットホーム非依存の全身画像セグメント化のためのシステムおよび方法 |
US11367184B2 (en) | 2019-03-15 | 2022-06-21 | SpIntellx, Inc. | Explainable AI (xAI) platform for computational pathology |
AU2020279633A1 (en) * | 2019-05-17 | 2021-11-18 | Boston Scientific Scimed, Inc. | Systems and devices for an endoscope tubeless working channel |
CN110136809B (zh) | 2019-05-22 | 2022-12-27 | 腾讯科技(深圳)有限公司 | 一种医疗图像处理方法、装置、电子医疗设备和存储介质 |
WO2020243574A1 (en) | 2019-05-31 | 2020-12-03 | Delphinus Medical Technologies, Inc. | Systems and methods for interactive lesion characterization |
EP3982813A1 (en) * | 2019-06-13 | 2022-04-20 | Boston Scientific Scimed, Inc. | Methods and apparatus to detect bleeding vessels |
US20200395117A1 (en) | 2019-06-14 | 2020-12-17 | Cycle Clarity, LLC | Adaptive image processing method and system in assisted reproductive technologies |
JP2022536388A (ja) | 2019-06-14 | 2022-08-15 | サイクル クラリティ,エルエルシー | 生殖補助技術における適応型画像処理方法およびシステム |
GB2586119B (en) | 2019-06-26 | 2022-04-06 | Cerebriu As | An improved medical scan protocol for in-scanner patient data acquisition analysis |
US20210002727A1 (en) * | 2019-07-01 | 2021-01-07 | Globe Biotech Ltd. | Method of determining disease-associated gene variants and its use in the diagnosis of liver cancer and for drug discovery |
CN110706207A (zh) | 2019-09-12 | 2020-01-17 | 上海联影智能医疗科技有限公司 | 图像量化方法、装置、计算机设备和存储介质 |
EP3796210A1 (en) | 2019-09-19 | 2021-03-24 | Siemens Healthcare GmbH | Spatial distribution of pathological image patterns in 3d image data |
US11462032B2 (en) | 2019-09-23 | 2022-10-04 | Proscia Inc. | Stain normalization for automated whole-slide image classification |
US11288806B2 (en) | 2019-09-30 | 2022-03-29 | Siemens Healthcare Gmbh | Protocol-aware tissue segmentation in medical imaging |
AU2020357886A1 (en) | 2019-10-01 | 2022-04-21 | Sirona Medical Inc. | AI-assisted medical image interpretation and report generation |
CN114341996A (zh) | 2019-10-30 | 2022-04-12 | 未艾医疗技术(深圳)有限公司 | 基于vrds 4d的病情分析方法及相关产品 |
US11341635B2 (en) | 2019-10-31 | 2022-05-24 | Tencent America LLC | Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion |
US11250569B2 (en) | 2019-11-04 | 2022-02-15 | GE Precision Healthcare LLC | Systems and methods for functional imaging follow-up evaluation using deep neural network |
WO2021125950A1 (en) | 2019-12-17 | 2021-06-24 | Universiteit Maastricht | Image data processing method, method of training a machine learning data processing model and image processing system |
US10811138B1 (en) | 2020-03-11 | 2020-10-20 | Memorial Sloan Kettering Cancer Center | Parameter selection model using image analysis |
EP4125601A1 (en) | 2020-03-27 | 2023-02-08 | Hologic, Inc. | Systems and methods for correlating regions of interest in multiple imaging modalities |
EP3893198A1 (en) | 2020-04-08 | 2021-10-13 | Siemens Healthcare GmbH | Method and system for computer aided detection of abnormalities in image data |
CN112001925B (zh) | 2020-06-24 | 2023-02-28 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
AU2021305935A1 (en) | 2020-07-06 | 2023-02-02 | Exini Diagnostics Ab | Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions |
US20220051402A1 (en) | 2020-08-13 | 2022-02-17 | Ohio State Innovation Foundation | Systems for automated lesion detection and related methods |
CN112070763A (zh) | 2020-09-18 | 2020-12-11 | 上海商汤智能科技有限公司 | 一种图像数据处理方法及装置、电子设备和存储介质 |
CN112241766B (zh) | 2020-10-27 | 2023-04-18 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
CN112435243A (zh) | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
CN112967291B (zh) | 2021-03-01 | 2021-11-16 | 北京安德医智科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN113506365A (zh) | 2021-07-07 | 2021-10-15 | 上海商汤智能科技有限公司 | 图像显示方法及相关装置和电子设备、存储介质 |
-
2018
- 2018-06-26 EP EP18824396.8A patent/EP3646240B1/en active Active
- 2018-06-26 JP JP2019571470A patent/JP2020525127A/ja active Pending
- 2018-06-26 CA CA3067824A patent/CA3067824A1/en active Pending
- 2018-06-26 WO PCT/US2018/039391 patent/WO2019005722A1/en unknown
- 2018-06-26 CN CN201880053873.5A patent/CN111095263A/zh active Pending
- 2018-06-26 US US16/626,662 patent/US11348228B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022220221A1 (ja) * | 2021-04-16 | 2022-10-20 | 富士フイルム株式会社 | 学習装置、方法およびプログラム |
WO2022270152A1 (ja) * | 2021-06-25 | 2022-12-29 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2024116309A1 (ja) * | 2022-11-30 | 2024-06-06 | 日本電気株式会社 | 画像生成装置、学習装置、画像生成方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CA3067824A1 (en) | 2019-01-03 |
EP3646240B1 (en) | 2024-09-04 |
CN111095263A (zh) | 2020-05-01 |
EP3646240A4 (en) | 2021-03-17 |
EP3646240A1 (en) | 2020-05-06 |
WO2019005722A1 (en) | 2019-01-03 |
US20200226748A1 (en) | 2020-07-16 |
US11348228B2 (en) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11348228B2 (en) | System, method, and computer-accessible medium for virtual pancreatography | |
Qureshi et al. | Medical image segmentation using deep semantic-based methods: A review of techniques, applications and emerging trends | |
Jiang et al. | A review of deep learning-based multiple-lesion recognition from medical images: classification, detection and segmentation | |
Punn et al. | Modality specific U-Net variants for biomedical image segmentation: a survey | |
Tariq et al. | Medical image based breast cancer diagnosis: State of the art and future directions | |
Tomassini et al. | Lung nodule diagnosis and cancer histology classification from computed tomography data by convolutional neural networks: A survey | |
Parisot et al. | Concurrent tumor segmentation and registration with uncertainty-based sparse non-uniform graphs | |
Mehmood et al. | Improved colorization and classification of intracranial tumor expanse in MRI images via hybrid scheme of Pix2Pix-cGANs and NASNet-large | |
Li et al. | Learning image context for segmentation of the prostate in CT-guided radiotherapy | |
Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
Bhattacharjee et al. | Review on histopathological slide analysis using digital microscopy | |
CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
US12106225B2 (en) | System, method, and computer-accessible medium for generating multi-class models from single-class datasets | |
Wang et al. | Iterative label denoising network: Segmenting male pelvic organs in CT from 3D bounding box annotations | |
Meera et al. | A review on automatic detection of brain tumor using computer aided diagnosis system through MRI | |
Mahmood et al. | Recent advancements and future prospects in active deep learning for medical image segmentation and classification | |
CN106651875B (zh) | 基于多模态mri纵向数据的脑瘤时空协同分割方法 | |
Astaraki et al. | Prior-aware autoencoders for lung pathology segmentation | |
Hansen et al. | Unsupervised supervoxel-based lung tumor segmentation across patient scans in hybrid PET/MRI | |
Yogalakshmi et al. | A review on the techniques of brain tumor: Segmentation, feature extraction and classification | |
Liu et al. | Cuts: A framework for multigranular unsupervised medical image segmentation | |
CN118435235A (zh) | 用于对病变进行分类的系统和方法 | |
WO2021197176A1 (en) | Systems and methods for tumor characterization | |
Alirr | Dual attention U-net for liver tumor segmentation in CT images | |
Hadwiger et al. | State of the art report 2004 on GPU-based segmentation |