JP2021528751A - 深層学習を使用して癌検出を改善するための方法およびシステム - Google Patents

深層学習を使用して癌検出を改善するための方法およびシステム Download PDF

Info

Publication number
JP2021528751A
JP2021528751A JP2020570510A JP2020570510A JP2021528751A JP 2021528751 A JP2021528751 A JP 2021528751A JP 2020570510 A JP2020570510 A JP 2020570510A JP 2020570510 A JP2020570510 A JP 2020570510A JP 2021528751 A JP2021528751 A JP 2021528751A
Authority
JP
Japan
Prior art keywords
model
cancer
dataset
stage
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020570510A
Other languages
English (en)
Other versions
JP7069359B2 (ja
Inventor
アティラ・キライ
シュラビヤ・シェティ
スジース・バラドワジ
ディエゴ・アルディラ
ボキュン・チェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2021528751A publication Critical patent/JP2021528751A/ja
Application granted granted Critical
Publication of JP7069359B2 publication Critical patent/JP7069359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

縦断的画像データセットおよび現在の画像データセット、ならびに/またはマルチモーダル画像データセットにおける癌の存在/不在の確率的予測と、癌の位置とを生成するための方法およびシステムについて説明する。方法およびシステムは、深層学習モデルのアンサンブルを使用する。アンサンブルは、グローバルベースで、癌の存在を示すデータセットにおける特徴を抽出する、3D畳み込みニューラルネットワーク(CNN)の形態におけるグローバルモデルを含む。アンサンブルはまた、癌検出候補(癌であり得る候補を含んでいる、データセットにおける3Dデータの異なるクロップされたボリューム)を識別する、第1段階または検出モデルと、縦断的データセット(または、マルチモーダルデータセットにおけるマルチモーダル画像)、およびグローバルモデルからの抽出された特徴を組み込み、癌検出候補の各々に癌確率pを割り当てる、第2段階または確率モデルとを含む、2段階予測モデルを含む。癌の確率の全体的予測が、たとえば、Noisy-OR手法を使用して、第2段階モデルによって割り当てられた確率から取得される。

Description

優先権
本出願は、2018年6月18日に出願した米国仮出願第62/686,541号、および2018年8月31日に出願した米国仮出願第62/726,178号の優先権の利益を主張するものである。
本開示は、癌検出およびスクリーニングを改善するための方法およびシステムに関する。方法は、たとえば、コンピュータ断層撮影(CT)からの肺癌検出のためのCTデータセット、および前立腺癌検出のためのマルチモーダル磁気共鳴イメージング(MRI)を含む、様々なイメージングデータセットとともに使用するために好適である。本開示の特徴は、低線量胸部CT(LDCT)データセット、ならびに診断用胸部CTデータセットからの一般的な肺癌検出との関連で適用され得る。方法およびシステムは、深層学習方法を使用して実装され得る。
縦断的(longitudinal)およびマルチモーダルイメージング技法は、癌スクリーニング診断の改善に役立つ。「縦断的イメージング」は、癌の検出および診断の際に現在または直近の画像との比較のために利用可能である、前の患者画像を指す。「マルチモーダルMRI」は、単一の磁気共鳴イメージング(MRI)検査の間に取られた複数のパルスシーケンスを指すために使用される。「マルチモーダルイメージング」という用語はまた、MRI、CTスキャン、および陽電子放射断層撮影(PET)など、被験者の異なるタイプの画像を取得することを指すために使用され、そのような画像は、同時に取得されてもそうでなくてもよい。
典型的には、イメージングデータセットの解釈は、放射線科医が複数の時点またはモダリティにわたって画像の同じ領域を比較することによって、手動または半自動的に実行される。深層学習を使用する自動化された手法は、癌を識別および分類するために、複数の画像にわたって微妙な手掛かりを識別するための能力を提供することができる。我々は、癌検出および分類のために、縦断的またはマルチモーダルイメージングを組み込むための一般的な手法を提示する。
以下の説明では、LDCT画像からの肺癌スクリーニングのトピックを提示する。しかしながら、説明する手法は、たとえば、前立腺癌検出および分類のためのマルチモーダルMRIなど、他の癌のトピックに一般化することができる。
背景技術として、低線量スクリーニングCTは、55〜80歳の現在および前の喫煙者のための肺癌の早期検出のための推奨されるガイドラインの一部である。患者が、CTまたはX線を使用して、癌に関して年に1回スクリーニングされた、National Lung Cancer Screening Trial(NLST)の結果として、CTグループにおける患者が、X線グループにおける患者と比較して低い死亡率を有することが実証された。米国放射線学会(ACR)は、肺結節の存在および不在、結節サイズおよび密度、結節形態、ならびに腫瘍の二次的兆候(たとえば、リンパ節症)を含む、様々な発見物に基づいて画像の評価を行う、低線量肺癌スクリーニングCT症例の解釈および管理のためのLung CT Screening Reporting & Data System(Lung-RADS)(商標)ガイドラインを発表している。一般にCTスキャンからの肺癌検出との関連で、Fleischner Societyガイドラインは、癌性である場合もそうでない場合もある、肺疾患の結節の識別および特性化のための基準について記載している。Lung-RADSガイドラインおよびFleischnerガイドラインのような手動で設計されたガイドラインは、より高い一貫性、標準化、および典型的には全体的性能の改善を含む、イメージング検査の主観評価に勝る様々な利点を提供する。しかしながら、これらのシステムは、それらのシステムを定義する基準によって本質的に制限され、より複雑な解析システムが潜在的に感度と特異度の両方において性能をさらに改善するための機会を残している。
様々なソフトウェアデバイスが、肺CT画像における肺結節の高度な検出(スクリーニング、診断、またはそうでないもの)のために、アメリカ食品医薬品局(FDA)によって認可または承認されている。これらのシステムは、一般に、特異度のコストを最小限にしながら、放射線科医の読影者が結節を発見するための感度を改善するために最適化され、それによって、コンピュータ支援検出、またはCADeのカテゴリーに入る。検出器は、一般に、他の場合には見逃されることがある小さい結節(1cm未満であることが多い)を強調し、通常、結節を含んでいる可能性のある複数のエリアを強調し、臨床決定を放射線科医に委ねる。近年、診断を推進するより深い評価のために利用される、コンピュータ支援診断、またはCADxが、肺癌においてはまだであるが、放射線学の他の分野において、より大きい関心および最初の臨床的承認さえ得ている。特に、深層学習プラットフォームは、臨床的に検証されたエンドポイントに基づいて、新しいアルゴリズムを迅速に開発し、これらのシステムが臨床的結論へのそれら自体の独立した経路を決定し、高度な性能および潜在的に新しい臨床的洞察を与えることを可能にすることが期待できる。深層学習手法は、詳細評価の自動化、他の場合には報告されない微妙なホリスティックなイメージング発見物に気付くこと、ならびにCTスキャンを格付けおよび評価するための方法を統一することを行う可能性を提供する。
いくつかの論文が、深層学習を使用するCTスキャンからの肺結節検出および診断を対象としており、これらの論文には、Xiaojie Huang他、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月、Francesco Ciompi他、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7、article no. 46479、2017年4月17日、Wenqing Sun他、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE vol. 9785(2016年3月)、Albert Chon他、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports(2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf、およびWafaa Alakwaa他、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、vol. 8 no. 8. 409〜417ページ(2017)が含まれる。当技術分野はまた、結節がすでに検出されたと仮定しており、悪性腫瘍のリスクの予測が生成される状況についても記載している。
米国特許出願第14/839,452号
Xiaojie Huang他、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月 Francesco Ciompi他、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7、article no. 46479、2017年4月17日 Wenqing Sun他、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE vol. 9785(2016年3月) Albert Chon他、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports(2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf Wafaa Alakwaa他、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、vol. 8 no. 8. 409〜417ページ(2017) アメリカ国立衛生研究所(NIH)Cancer Data Access System[https://biometry.nci.nih.gov/cdas/learn/nlst/images/] Joao Carreira他、Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset、arXiv:1705.07750[cs.CV](2017) C. Szegedy他、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV](2014年9月) C. Szegedy他、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月) M. Sundararajan他の論文、Axiomatic Attribution for Deep Networks、arXiv:1703.01365[cs.LG](2017年6月) D. Bahdanau他の学会発表、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL]) Choi他、GRAM:Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3[cs.LG]2017年4月 Choi他、RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL]2017年2月 Tsung-Yo Lin他、Focal Loss for Dense Object Detection、arXiv:1708.02002[cs.CV](2017年8月) J. H. Cole他、「Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker」、NeuroImage、vol. 163、115〜124ページ、2017 J. H. Cole他、「Brain age predicts mortality」、Molecular Psychiatry、2017 P. Sturmfels他、「A domain guided CNN architecture for predicting age from structural brain images」、arXiv preprint arXiv:1808.04362、2018 http://adni.loni.usc.edu/ J. CarreiraおよびA. Zisserman、2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)における、「Quo vadis, action recognition? a new model and the kinetics dataset」、IEEE 2017、4724〜4733ページ
一態様では、我々は、深層学習モデルなどのモデルのアンサンブルを使用して、CTデータセットにおける肺癌の存在/不在の確率的予測、および癌の位置を生成するための方法およびシステムについて説明する。モデルのアンサンブルは、グローバルベースで(すなわち、CTボリューム全体にわたって)、CTデータセットにおける肺組織における癌の存在の確率および位置を予測するようにトレーニングされる、3D畳み込みニューラルネットワーク(CNN)の形態における、グローバル予測的モデルを含む。したがって、グローバルモデルは、入力としてCTボリューム全体をとり、CTボリュームにおいて表された関心エリアにおける癌の存在のグローバル予測を出力し得る。このグローバルモデルのこの出力は、CTボリューム全体にわたる単一のモデルにおける癌のエンドツーエンド予測を表す。場合によっては、このグローバルモデルは、胸部CTデータセットにおいて非肺組織から肺組織を分離するための特徴を含み、肺組織のみにおける癌の存在の確率および位置を予測する。
アンサンブルはまた、癌検出候補(癌性である場合もそうでない場合もある、単なる結節ではなく、癌であり得る候補を含んでいる、CTデータセットにおける3Dデータの異なるクロップされたボリューム)を識別する、第1段階または検出モデルと、癌検出候補の各々に癌確率pを割り当てる、第2段階または確率モデルとを含む、2段階予測モデルを含む。2段階予測モデルのうちの検出モデルおよび確率モデルは、同じく畳み込みニューラルネットワークに基づき得る。したがって、検出モデルは、CTデータセットを処理して、イメージングされた関心領域の部分を表すCTデータセットの候補ボリュームを生成し得、確率モデルは、CTデータセットの候補ボリュームを処理して、候補ボリュームが、癌を有する患者を示すイメージングされた関心領域の部分、たとえば、1つまたは複数の癌細胞を含む部分を表す確率を決定し得る。
実際には、3つまたは5つなど、2つ以上の異なる第2段階確率モデル、たとえば、モデルA、B、C、Dなどがあり得、各々がそれ自体のパラメータのセットをもち、各々が検出候補の各々における癌の確率の予測を作成する。そのような第2段階モデルを定義するパラメータにおける可能な違いには、1)異なるパッチサイズ(すなわち、異なるスケールで癌を検出するために、データセットにおけるクロップされた3Dデータの様々なサイズのボリューム)、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。具体的には、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、トレーニング中に追加のトレーニングデータを生成するように修正され得る。たとえば、小さいランダム回転が、入力ボリュームに適用されて、追加のトレーニングボリュームが生成され得る。このデータ拡大は、アンサンブルのメンバーの間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。
次いで、グローバルモデルおよび第2段階確率モデルの各々によって生成された予測確率が、たとえば、何らかの定義関数f、またはアルゴリズムに従って結合されて、CTデータセットにおける癌/癌なしの全体的または最終確率予測(たとえば、典型的には0から100までのパーセンテージを単位として提示される「悪性尤度スコア(malignancy likelihood score)」)、および癌の可能性がある位置が生成される。1つの構成では、これらの確率はまた、既存のスコアリングスキーマに近似するために、または新しいものを定義することによってのいずれかで、新規のスコアリング方法においても使用され得る。定義関数fは、グローバルモデルの予測された確率と、第2段階モデルの各々の、すなわち、すべての癌検出候補にわたって、または加重平均の形式において計算される、各最終または全確率との平均化からなり得る。
したがって、一態様では、患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための方法が提供される。方法は、a)グローバルベースで、データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、データセットを供給するステップと、b)2段階予測モデルにデータセットを供給するステップであって、2段階予測モデルが、1)データセット内の1つまたは複数の3次元癌候補の位置を検出する、第1段階検出モデルと、2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルとを備える、ステップと、c)(1)グローバル予測的モデルの予測と、第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pとの両方を使用する、データセットにおける癌の確率の全体的予測、および(2)データセットにおける癌の位置を表す、データを生成するステップであって、癌の位置が、グローバル予測的モデルまたは2段階予測モデルのいずれかによって決定される、ステップとを含む。
別の態様では、患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するためのコンピュータ実施システムが開示される。システムは、a)グローバルベースで、データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルと、b)2段階予測モデルであって、1)データセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルとを備える、2段階予測モデルと、c)(1)グローバル予測的モデルの予測と、第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pとを使用する、データセットにおける癌の確率の全体的予測、および(2)データセットにおける癌の位置を表す、データを生成するためのコンピュータシステム実行コードとを含む。癌の位置は、グローバル予測的モデルまたは2段階予測モデルのいずれかによって決定される。
1つの構成では、特徴マップに関連付けられた中間畳み込み層(intermediate convolutional layer)を各々が有する、深層畳み込みニューラルネットワークの形態をとる、複数の第2段階モデルがある。グローバル予測的モデルは、特徴マップに関連付けられた中間畳み込み層を含む。ステップc)において、データセットにおける癌の確率の全体的予測が、(1)第2段階モデルからの特徴マップを、グローバルモデルの中間畳み込み層の特徴マップにアペンドし、グローバルモデルからの予測を生成すること、または(2)グローバルモデルからの特徴マップを、第2段階モデルの中間畳み込み層の特徴マップにアペンドし、第2段階モデルの出力から予測を生成することのいずれかによって取得される。
一態様では、患者について取得されたコンピュータ断層撮影データセットから、患者の関心領域における癌の存在の確率を決定するための方法について説明する。方法は、
a)コンピュータ断層撮影データセットから、患者が癌を有するグローバルな確率を生成するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、予測的モデル(グローバル予測的モデル)を使用して、コンピュータ断層撮影データセットを処理するステップと、
b)2段階予測モデルを使用して、コンピュータ断層撮影データセットを処理するステップであって、前記処理が、
1)1つまたは複数の癌細胞を表す候補関心領域として、データセットにおける1つまたは複数の3次元候補ボリュームを生成するために、検出モデルを使用して、コンピュータ断層撮影データセットを処理するステップと、
2)3次元候補ボリュームの各々のための確率を生成するために、検出モデルによって生成された1つまたは複数の3次元候補ボリュームを処理するステップであって、3次元ボリュームの各々のための確率が、3次元ボリュームが1つまたは複数の癌細胞を表す確率を示す、ステップと
を含む、ステップと、
c)患者が癌を有するグローバルな確率と、3次元候補ボリュームの各々のための確率の両方を使用して、患者が癌を有する確率を生成するステップと
を含む。
各態様は、場合によっては、以下の特徴のうちの1つまたは複数を含み得る。1つまたは複数の3次元癌候補が、第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、第2段階確率モデルの各々が、3次元癌候補の各々に癌確率pを割り当て、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。ステップc)において、全体的確率は、グローバルモデルによって生成されたグローバルな確率と、複数の第2段階確率モデルの各々によって算出された候補の各々のための全確率との平均を備える。グローバル予測的モデルが、データセットにおける癌の存在の確率に加えて、以下のもの、すなわち、a)癌の転帰、b)2次元における少なくとも20mmのサイズの結節の存在、c)5年以内の死亡確率、d)2年以内の癌の診断のうちの少なくとも1つを予測するようにトレーニングされる。グローバルモデルは、データセットにおける癌の存在を識別するために、基本特徴抽出器(base feature extractor)を使用し、第1段階検出モデルが、基本特徴抽出器を使用する。第1段階検出モデルおよび第2段階確率モデルは、深層畳み込みニューラルネットワークを備える。第1段階検出モデルは、データセットにおける癌の存在の確率の予測が識別された肺組織内のみでグローバルに動作するように、データセットの全ボリュームにおいて動作する。グローバル予測的モデルは、データセット内の組織を識別する肺セグメンテーション特徴(lung segmentation feature)をさらに備える。1つの構成では、方法は、データセットにおける癌の確率の全体的予測を、リスク層別化スキーマのバケットに入れる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
別の態様では、コンピュータ断層撮影データセットの肺癌スクリーニングの特異度を高めるための深層学習システムを生成するための方法について説明する。方法は、
a)グローバルに、コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するように、3次元深層畳み込みニューラルネットワークの形態におけるグローバル予測的モデルをトレーニングするステップであって、トレーニングが、癌の存在または不在を示すグランドトゥルースアノテーションをもつ多数のコンピュータ断層撮影データセットに対して実行される、ステップと、
b)コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補を検出するための、第1段階検出モデルをトレーニングするステップと、
c)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをトレーニングするステップであって、第2段階確率モデルの各々が、3次元癌候補の各々に癌確率pを割り当て、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、ステップと、
d)CTスキャンデータセットにおける癌の確率のアンサンブルまたは全体的予測を生成するために、グローバル予測的モデルおよび第2段階確率モデルの予測をアンサンブル方式で結合するためのアルゴリズムまたは関数を定義するステップと
を含む。
各態様は、以下の特徴のうちの1つまたは複数を含み得る。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。アルゴリズムは平均計算である。グローバル予測的モデルが、コンピュータ断層撮影データセットにおける癌の存在の確率に加えて、以下のもの、すなわち、a)癌の転帰、b)2次元における少なくとも30mmのサイズの結節の存在、c)5年以内の死亡確率、d)2年以内の肺癌の診断のうちの少なくとも1つを予測するようにトレーニングされる。グローバル予測的モデルが、コンピュータ断層撮影データセットにおいて非肺組織から肺組織をセグメント化するように、さらにトレーニングされる。1つの構成では、グローバルモデルは、統合勾配(integrated gradient)などのアテンション機構を含む。1つの構成では、方法は、複数のバケットの形態におけるリスク層別化スキーマを含み、データセットにおける癌の確率の全体的予測が、リスク層別化スキーマにおけるバケットのうちの1つに入れられる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
態様が任意の好都合な形態で実装され得ることは諒解されよう。たとえば、態様は、有形のキャリア媒体(たとえば、ディスク)、または無形のキャリア媒体(たとえば、通信信号)であり得る、適切なキャリア媒体上で搬送され得る、適切なコンピュータプログラムによって実装され得る。態様はまた、本発明を実装するように配置されたコンピュータプログラムを実行するプログラマブルコンピュータの形態をとり得る、好適な装置を使用して実装され得る。
ある態様との関連で説明される特徴が、別の態様との関連で実装され得るように、態様が結合され得ることは諒解されよう。
これらの技法について、概して肺癌との関連で説明するが、これらの技法が肺癌以外の癌に適用され得ることは諒解されよう。
加えて、我々は、高度な癌検出および診断のための新規の深層学習フレームワークへの、縦断的およびマルチモーダルイメージングの組込みについて、本明細書で説明する。部分的または完全な自動化によって、幅広い利用可能性を促進するための、画像ベースのスクリーニングのスケーリングが容易になる。以下の説明から諒解されるように、本開示のシステムおよび方法は、CTスキャンデータセットなど、所与のイメージングモダリティの、3Dボリュメトリックデータセットなどの縦断的画像のセットがあるときに使用され得る。システムおよび方法はまた、被験者の縦断的(前の)イメージングデータセットを含む場合も含まない場合もある、マルチモーダルデータセットのセットがある場合にも使用され得る。方法およびシステムはまた、所与の被験者について利用可能な縦断的イメージングデータセットとマルチモーダルイメージングデータセットの両方があり、癌検出および診断の精度を高めるために、以下で説明する深層学習フレームワークにおいて、それらのデータセットがすべて結合され得る状況にも拡張され得る。
一態様では、我々は、深層学習モデルのアンサンブルを使用して、最近の(たとえば、現在の)画像データセットおよび縦断的(前の)画像データセットからなる、医用画像ベースのデータセットにおける肺癌の存在/不在の確率的予測、および癌の位置を生成するための方法およびシステムについて説明する。方法は、
a)癌の存在を示すデータセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、最近のデータセット、および場合によっては縦断的データセットを供給するステップと、
b)2段階予測モデルに、最近のデータセットおよび縦断的データセットを供給するステップであって、2段階予測モデルが、
1)現在のデータセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、縦断的データセット、およびグローバルモデルからの抽出された特徴を組み込み、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pから、データセットにおける癌の確率の全体的予測を生成するステップと
を含む。
各態様は、場合によっては、以下の特徴のうちの1つまたは複数を含み得る。1つの構成では、最近のデータセットおよび縦断的データセットが、2段階モデルにおける検出モデルによって検出される癌候補について、ローカルに登録される。別の可能な構成では、最近のデータセットおよび縦断的データセットが、予測を生成するステップより前に、グローバルに登録される。一実施形態では、データセットは、癌スクリーニングのために得られた低線量肺CTイメージングからなる。別の実施形態では、肺CT画像が、診断検査の一部として得られる。別の実施形態では、データセットは、癌スクリーニングのために得られた磁気共鳴イメージング(MRI)データセット、または最近のPET画像データセットおよび縦断的PET画像データセットの形態である。
以下は、方法の追加の随意の特徴である。1つまたは複数の3次元癌候補が、複数の第2段階確率モデルに提供される。第2段階確率モデルの各々は、3次元癌候補の各々に癌確率pを割り当てる。1つの可能な構成では、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる。しかしながら、単一の第2段階モデルでは、1つまたは複数の候補を処理する際に、共有重みが使用される。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。ステップc)において、全体的確率は、複数の第2段階確率モデルの各々によって算出された候補の各々のための確率の平均を備える。1つの構成では、第1段階検出モデルおよび第2段階確率モデルは、深層畳み込みニューラルネットワークを備える。第1段階検出モデルは、データセットの全ボリュームにおいて動作する。1つの可能な構成では、グローバルモデルは、癌を示す特徴の抽出が識別された肺組織内のみで動作するように、データセット内の組織を識別する肺セグメンテーション特徴を含む。1つの構成では、方法は、データセットにおける癌の確率の全体的予測を、リスク層別化スキーマのバケットに入れる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
方法は、さらには、患者の他のタイプの画像データセット、および特にマルチモーダル画像に適用可能である。特に、別の態様では、マルチモーダル画像ベースのデータセットからの医用画像ベースの癌スクリーニングおよび検出のための方法について説明する。方法は、
a)癌の存在を示すデータセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、マルチモーダルデータセットを供給するステップと、
b)2段階予測モデルにマルチモーダルデータセットを供給するステップであって、2段階予測モデルが、
1)マルチモーダルデータセット(たとえば、3D CT画像データセット)における画像のうちの1つの中の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補、およびマルチモーダルデータセットにおける他の画像(PET画像およびMRI画像など)、およびグローバルモデルからの抽出された特徴において動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pから、データセットにおける癌の確率の全体的予測を生成するステップと
を含む。
ある態様との関連で説明される特徴が、別の態様との関連で実装され得るように、態様が結合され得ることは諒解されよう。
これらの技法について、概して肺癌との関連で説明するが、これらの技法が、前立腺または乳癌など、肺癌以外の癌に適用され得ることは諒解されよう。
本開示の別の態様では、患者が加齢関連脳疾患を発症するリスクがあるか否かを予測するための方法についてさらに説明する。方法は、同じ暦年齢グループに属する認知障害のある被験者および正常な被験者の3D画像(たとえば、構造的磁気共鳴イメージング(SMRI:structural magnetic resonance imaging)またはCT)のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用する。方法は、
a)患者から1つまたは複数の3D画像を取得し、予測的モデルに、1つまたは複数の3D画像を供給するステップと、
b)予測的モデルを用いて、被験者のための脳年齢予測を生成するステップと、
c)脳年齢予測を、患者の実年齢と比較するステップとを含み、脳年齢予測が、患者の実年齢のものよりも実質的に大きい場合、患者が、加齢関連脳疾患を発症するリスクが高いとして識別される。
グローバル予測的モデルと、第1段階検出モデルと、1つまたは複数の第2段階確率モデルとを含む、深層学習を使用して、コンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための、我々のシステムおよび方法の図であって、図1のシステムは、グローバル予測的モデルおよび2段階予測的モデルがリモートで実装され、癌の尤度を示す最終確率スコア、およびデータセットにおける癌の位置を、CTデータセットが取得されるクリニックまたはオフィスに返す、クラウド環境において展開され得る。代替的に、図1のシステムは、ローカルに実装され得、すなわち、コンピューティングリソースおよび深層学習モデルが、オフィスまたはクリニックのローカルに位置する、図である。 図1の第2段階確率モデルによる癌確率予測、および単一の第2段階モデルによる候補1、2、3のセットのための全体的な癌予測の生成の図であって、システムが2つ以上の第2段階モデルを含む場合、図2の手順が第2段階モデルの各々について繰り返される、図である。 所与の入力癌候補3Dボリュームのための予測をインスタンスごとに生成する、マルチスケール特徴抽出方法の図であって、インスタンスごとの予測が、ある関数に基づいて、最終予測に結合され得、その例については、以下で説明しており、追加として、我々は、特徴のプリロジットレベル(pre-logit level)連結、特徴マップのプーリング前連結などを含む、深層学習モデルの異なるレベルにおいてインスタンスを扱うことができる、図である。 NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、図1のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。 医用画像ベースのデータセットの検出および分類を実行するために、縦断的画像を組み込むための深層学習システムの図である。 医用画像ベースのデータセットの検出および分類を実行するために、縦断的画像またはマルチモーダル画像を組み込むための、一般化された深層学習システムの図である。 NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。 NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。 NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。 そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。 前のCTスキャン画像におけるROIの登録を示す図である。 現在のCTスキャン画像におけるROIの登録を示す図である。 第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。 第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。 第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。 いかなる領域知識も必要とすることなく、脳の3D構造的磁気共鳴イメージング(SMRI)画像から脳年齢を予測するための、深層学習モデルを示す図であって、2つの異なる方法において、すなわち、1)リグレッサを使用して、および2)バケット化分類器を使用して脳年齢を予測した、図12のモデルの2つの変形形態について、以下で説明している、図である。 回帰モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。 バケット化分類モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。 同じ予測年齢グループにおける、認知障害のない被験者および認知障害のある被験者のための本当の年齢の分布のボックスプロットであって、この図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示し、我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからであり、加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった、ボックスプロットである。 同じ予測年齢グループにおける、認知障害のない被験者および認知障害のある被験者のための本当の年齢の分布のボックスプロットであって、この図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示し、我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからであり、加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった、ボックスプロットである。
本明細書は、データセットに基づく患者における癌の存在/不在の確率の予測、および存在する場合、CTデータセットにおける癌の位置の生成を目標とする、患者から取得された肺癌スクリーニングCTデータセットの評価のための深層学習方法の開発および実装形態について説明する。本開示の方法は、CTデータセットにおける肺癌検出の特異度および感度を改善する。1つの可能な実施形態では、システムは、トレーニングされた放射線科医による癌患者の診断および治療管理を助けることができる、コンピュータベースの深層学習肺癌検出およびスクリーニングツールとして構成され得る。
図1〜図4、セクションIの以下の説明では、我々は、我々の深層学習モデルの全体的な概観、および縦断的イメージングデータセットまたはマルチモーダルイメージングデータセットを含まない、イメージングデータセットを用いたその使用について説明する。その概観および説明を念頭に置いて、次いで、本開示はセクションIIに進み、図5〜図11とともに、最近の画像データセットおよび縦断的画像データセット、またはマルチモーダルデータセットを使用する、深層学習モデルのアンサンブルの使用について説明する。
図1および図5のグローバルモデルの開発の、SMRI脳画像への拡張、ならびに脳年齢予測的モデルの開発、および年齢関連脳疾患のリスクが高いとして患者を識別するためのその使用が、本明細書のセクションIIIに記載される。
I.概観、モデルのアンサンブル、および縦断的画像データセットまたはマルチモーダル画像データセットなしのその使用(図1〜図4)
本開示で説明するモデルの開発およびトレーニングのために、我々は、14,863名の患者からの42,943件のCT検査を含み、そのうちの620名が生検で確認された癌を発症した、National Lung Screening Trial(NLST)データセットを解析した。データセットにおける症例に関する追加の詳細は、アメリカ国立衛生研究所(NIH)Cancer Data Access System[https://biometry.nci.nih.gov/cdas/learn/nlst/images/]を通して入手可能であり、手短に言えば、症例は、複数の機関から低線量で得られたものであり、スライス厚は1.25mmから2.5mmまで変動し(NLSTデータセットからのより大きいスライス厚データは、検討から除去された)、スキャナベンダーは現場によって変動した。症例は、3つのグループ化されたセット、すなわち、トレーニング(70%)、チューニング(15%)、およびテスト(15%)に分割された。癌症例がすべての3つのグループ化されたセットにおいて現れることを保証するためのステップが実行されたので、症例の分割は完全にランダムであるとは限らなかった。癌の存在についてのグランドトゥルースは、患者がスクリーニング年の間に生検または手術で確認された肺癌と診断された(すなわち、真陽性)か否かの決定によって定義された。「陰性」は、NLST結果による癌の不在によって定義された(試験における患者は、6.5年の経過観察の中央値を有した)。データセットは、以下で説明するように、グローバルモデルにおける癌/癌なしに加えて、異なる二項分類を開発するために使用された、CTデータセットに関連付けられた患者のための臨床データを含む。
我々の方法は、0〜100%ベースの「悪性尤度スコア」(または、以下のアンサンブル確率PE)を割り当てるように設計されている。次いで、この確率予測が、しきい値処理を介して、1および2対3/4Aおよび4Bのグループ化されたLung-RADSカテゴリー、または他の知られている代替リスク層別化バケットに変換され得る。代替的な、および潜在的に完全に新しいリスクカテゴリー化バケットが、以下でさらに詳細に説明するように、我々のアンサンブル予測から定義され得る。
高いレベルで、CTデータセットから癌確率予測を生成するための我々の手法は、従来技術を改善するものであり、その理由は、我々の手法が、グローバルベースで(すなわち、CTボリューム全体にわたって)、CTデータセットにおける肺組織における癌の存在の確率を予測するようにトレーニングされる、グローバルモデルを含むからである。場合によっては、CTボリュームにおける癌の位置が、グローバルモデルによって、たとえば、以下で説明するようなアテンション機構の使用を通して決定され得る。このグローバルモデルは、3D癌候補1、2、3、...(データセットにおいてクロップされた3Dボリューム)を識別する第1段階または「検出」モデルと、第1段階モデルによって識別された癌候補のための癌確率p1、p2、p3、...を生成する第2段階または「確率」モデルとを含む、2段階予測モデルを含む、モデルのアンサンブルの一部である。次いで、CTデータセットにおける癌の最終スコアまたは確率が、たとえば、グローバルモデルの確率と、癌検出候補にわたる第2段階確率モデルからの全体的または全確率とを平均化することによって、グローバルモデルからの結果と、第2段階予測モデルによって生成された癌確率pとを結合することによって、取得される。上述のように、好ましくは、検出候補の各々のための癌予測を個々に生成している、複数の第2段階確率モデルがあり、たとえば、以下で説明するように、そのような第2段階確率モデルのうちの4つまたは5つが、異なるパラメータを各々が有する。システムおよび方法は、CTデータセットにおける癌の全体的または最終予測確率と位置とを表すデータを生成する。
図1は、深層学習を使用して、肺癌スクリーニングコンピュータ断層撮影データセットの特異度を改善するための、我々の方法を実施するためのシステム100の図である。患者102が、従来のCTスキャナ104に挿入され、スキャナは、従来のように3D CTデータセット106を生成する。次いで、このCTデータセット106が、グローバル予測的モデル110に供給される。グローバル予測的モデル110は、好ましくは、本質的にパターン認識器として作用し、肺組織におけるCTスキャンデータにおいて癌を認識するようにトレーニングされる、3次元深層畳み込みニューラルネットワークの形態をとる。そのようなネットワークについては、文献、たとえば、Joao Carreira他、Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset、arXiv:1705.07750[cs.CV](2017)、以前に引用したHuang他の論文の380ページにおいて記載されている。Carreira他およびHuang他の論文は、参照により本明細書に組み込まれる。
このモデルは、グランドトゥルースアノテーション付きの多数のCTスキャンデータセットから、癌を認識するようにトレーニングされる。この場合には、National Lung Screening Trial(NLST)データセットがトレーニングのために使用された。しかしながら、トレーニングのための他のデータセットが文献において言及されており、それらを使用することができ、たとえば、Huang他の論文において言及された、Lung Image Database Consortium(LIDC)データセット、およびStanfordグループの論文において言及された、KaggleのData Science Bowl 2017 challengeにおいて使用されたCTスキャンデータセットである。一実施形態では、グラフィックス処理ユニット(gpu)メモリの効率的な使用のために、グローバルモデル110のための3D膨張(inflated)Inception V1が使用される。Inception深層畳み込みニューラルネットワークアーキテクチャについては、科学文献において記載されている。その内容が参照により本明細書に組み込まれる、以下の参考文献を参照されたい。すなわち、C. Szegedy他、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV](2014年9月)、C. Szegedy他、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月)、また、2015年8月28日に出願されたC. Szegedy他の「Processing Images Using Deep Neural Networks」という米国特許出願第14/839,452号も参照されたい。
このグローバルモデル110は、グローバルベースで、データセット106における肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされる。一実施形態では、このグローバルモデル110は、CTデータセットにおいて、非肺組織から肺組織を分離するために、肺セグメンテーション特徴を含む。グローバルモデルは、肺組織における癌存在の確率のみを予測する。一実施形態では、マスクR-CNNベースの肺セグメンテーションモデルが、非肺組織を取り除くために、どこでデータセットをセンタークロップするかを判断するために使用され、肺組織における癌検出のためにトレーニングされたモデルのみが、全ボリュームCTスキャンデータの代わりに使用される。この手順は、我々の予測的モデルが、肺癌(すなわち、肺組織における癌)のためのグランドトゥルースアノテーション付きデータセットにおいてのみトレーニングされたとき、非肺組織における癌の潜在的な検出の異常な可能性を除去するものである。
グローバルモデル110は、いくつかの二項ヘッド(binary head)または分類器(すなわち、トレーニングデータに基づいて行われることになる予測)、すなわち、NLSTにおけるスクリーニング結果、癌の転帰、および20mmよりも大きい結節の存在を用いてトレーニングされた。たとえば、グローバルモデルは、5年以内の死亡確率、および2年以内の肺癌の診断を予測するようにトレーニングされ得る。グローバルモデルはまた、すべての軸に沿ったランダムフリッピングおよびランダムシフトを含む、3Dデータ拡大を用いてトレーニングされる。
追加として、グローバルモデル110、ならびに2段階モデルの第2段階は、モデル予測に最も寄与するデータセットのそれらの部分/領域、すなわち、位置を基本的に識別する、統合勾配などのアトリビューション機構を含み得る。次いで、CTデータセットのこれらの部分が、画像内にアテンション機構から識別された癌領域を囲むバウンディングボックスを追加することによって強調され、それによって、CTボリュームにおける癌の可視化のためのツールをユーザに与え、モデルのアンサンブルによって生成された最終予測が信頼できるという確信をユーザに与えることができる。統合勾配アルゴリズムについては、M. Sundararajan他の論文、Axiomatic Attribution for Deep Networks、arXiv:1703.01365[cs.LG](2017年6月)において記載されており、その内容全体が参照により組み込まれる。この方法について、全体的な画像の分類における、画像における個々のピクセルのアトリビューションの関連で概念的に説明する。基本的には、画像における各ピクセルiのための統合勾配スコアIGi(または、アトリビューション重みもしくは値)が、ベースライン(ゼロ情報、あらゆるピクセル黒、α=0)から、入力画像における全情報(α=1)までの、入力画像情報内容(この例では、輝度のスペクトル)の均等スケーリング(α)を介して算出され、ただし、IGi(各ピクセルのためのスコア)が式(1)によって与えられる。
(1) IGi(image)=imagei*∫0-1▽Fi(α*image)dα
ただし、Fは、ラベルのための予測関数であり、
imageiは、i番目のピクセルの値であり、
IGi(image)は、i番目のピクセルに関する統合勾配、すなわち、i番目のピクセルのためのアトリビューションであり、
▽は、imageiに対する勾配演算子である。
Sundararajan他の論文のセクション3は、アルゴリズムについてさらに説明しており、その説明が参照により組み込まれる。CTスキャンの場合のような3Dボリュームへのその技法の適応は、当業者の能力内で考えられる。
深層学習ニューラルネットワークにおけるアテンション機構の使用については、D. Bahdanau他の学会発表、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL])において記載されている。ヘルスケアとの関連でのアテンション機構のさらなる説明には、Choi他、GRAM:Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3[cs.LG]2017年4月、およびChoi他、RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL]2017年2月が含まれる。
以前に説明したように、グローバル予測的モデル110は、グローバルベースでCTデータセットにおける肺組織における癌の存在の確率を反映する、予測Pgを生成する。癌の可能性がある位置もまた、たとえば、統合勾配などのアテンション機構の使用を通して識別される。この癌確率112および位置を反映するデータは、図1の方法を実施するコンピュータシステム122のメモリ120など、メモリ内に記憶される。
CTデータセット106はまた、第1段階検出モデル130および第2段階確率モデル132からなる、2段階予測モデルにも提供される。第1段階検出モデル130は、同じく3D深層CNNの形態をとり得るものであり、1つまたは複数の癌検出候補134(そのうちの3つが図1に示されている)を識別し、候補の各々のためのクロップされた3Dボリューム、たとえば、癌の可能性があるものを囲む、45mm3または90mm3ボリュームを生成する。クロップされた3Dボリュームもまた、統合勾配などのアテンション機構の代替物として、検出された癌の位置を強調するために使用され得る。我々の検出モデルは、以下の論文、すなわち、Tsung-Yo Lin他、Focal Loss for Dense Object Detection、arXiv:1708.02002[cs.CV](2017年8月)において記載されている検出モデルアーキテクチャに基づくが、3次元に一般化されるものである。このモデルは、フォーカルロス(focal loss)1段階検出器をもつRetinaNetと同様であるが、完全に3D畳み込みであり、ターゲット割当てを伴う。このモデルをトレーニングするために、NLSTデータセットにおけるすべての癌陽性およびそれらの前のもののためのバウンディングボックスが収集される。このモデルのパッチベースのトレーニングが使用されるが、検出候補を生成するために全ボリューム推論である。検出モデルは、グローバルモデル110と同じ基本特徴抽出器を使用する。一実施形態では、検出モデルはまた、異なるデータセット(LIDC)における結節検出タスクにおいて事前トレーニングされるが、結節のみがそのセットにおいてラベル付けされ、結節が癌であるか否かは分からない。
次いで、図1のこれらの検出候補134が、一実施形態では、同じく3次元に一般化された深層CNNの形態をとる、第2段階確率モデル132に供給され、次いで、第2段階確率モデル132が、候補の各々のための癌確率予測pを生成する。このモデルもまた、フォーカルロスを用いてトレーニングされる(上記で引用したLin他の論文を参照)。検出候補は、検出確率に基づいて、トレーニング時間にランダムにサンプリングされる。90mm3パッチでは、様々な特徴層における予測が別個に作成され、それらが別個の検出候補であるかのように結合される(図3および以下の説明を参照)。このモデルはまた、検出モデル130の重みからトレーニングを開始する。
たとえば、再び図1を参照すると、3つの候補134(1、2、3)がある場合、第2段階モデル132は、各候補につき1つずつ、確率のセット[p1,p2,p3]を生成する。
以前に上述したように、システムは、場合によっては、および好ましくは、複数の第2段階モデル、132A、132B、132C...を含む。各第2段階モデル132A、132B、132Cなどは、検出候補のための確率予測pを作成するためのパラメータの異なるセットを使用する。パラメータにおける可能な違いには、1)検出モデルによって生成された異なるパッチサイズ(すなわち、データセットにおけるクロップされた3Dデータの異なるボリューム)、たとえば、45mm3ボリュームおよび90mm3ボリューム、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。4)の一例として、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、第2段階確率モデル132のトレーニング中にランダムに改変される。たとえば、一実施形態では、入力ボリュームの小さいランダム回転が生成される。このデータ拡大は、アンサンブルのメンバー(132A、132B...)の間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。5)の一例として、異なる第2段階確率モデルは、各深層畳み込みニューラルネットワークであるが、各々は、異なるモデルアーキテクチャを有し、たとえば、モデルは、深度、カーネルサイズ、および/または畳み込みの数について変動する。
そのため、実際には、3つのそのような第2段階確率モデル132が図1に示されているが、実際に使用され得るそのようなモデルの数は、変動することがあり、たとえば、2、4、5、6、10またはそれ以上であり得、各々のためのモデルパラメータは、先行する段落における説明に従って変動する。
図2は、図1の第2段階確率モデルによる癌確率予測、および単一の確率モデル132による候補1、2、3のセットのための全体的な癌予測の生成の図である。システムが2つ以上の第2段階モデルを含む場合、図2の手順が第2段階モデルの各々について繰り返される。クロップされた3Dボリュームの形態における候補1が、第2段階確率モデル132に適用され、癌確率予測p1が生成される。同様に、クロップされた3Dボリュームの形態における候補2が、第2段階確率モデル132に適用され、癌確率予測p2が生成される。このプロセスが、候補の各々について繰り返され、そのうちの3つが、図1の例において示されている。癌なしのための確率P(no cancer)が、式2に従って計算される。
(2) P(no cancer)=(1-p1)×(1-p2)×(1-p3)
次いで、モデルからの全体的な癌予測が、式3によって与えられる。
(3) P(cancer)=1-P(no cancer)。
システム内に存在する場合、第2段階モデル132B、132Cなどの各々について、同じ計算が行われる。
再び図1を参照すると、次いで、CTデータセット106における癌の存在の全体的またはアンサンブル予測であるアンサンブル予測PEが、グローバル予測的モデルの予測PG、および第2段階モデル132A、132Bなどによって生じた予測のセット[p1,p2,p3]A、[p1,p2,p3]Bなどの関数fとして計算される。一実施形態では、予測のセット[p1,p2,p3]A、[p1,p2,p3]B...が、式(2)および式(3)によってP(cancer)に変換され、PA、PB、...として書くことができ、次いで、fが平均化計算である。たとえば、3つの第2段階モデルがある場合、PEが式(4)によって与えられる。
(4) PE=(PG+PA+PB+PC)/4
ただし、PGは、たとえば、0〜100のパーセンテージスケールにおける、グローバルモデル確率予測である。
アンサンブル確率PEに達するための様々なモデルの寄与についての実験は、1つまたは複数の第2段階モデルに異なる重みを提供することによって、または第2段階モデルの予測PA、PB、...と同じよりも多いかまたは少ないように、グローバルモデル予測PGに重み付けすることなどによって、平均化計算に加えて、他の可能な解決策を決めることがある。別の例として、第2段階モデル予測PA、PB、...の平均化が実行され得、次いで、この平均が、(直接または重み付けありのいずれかで)グローバルな確率PGと平均化される。異なる関数fについて図4に示されるものなど、受信者動作特性(ROC)AUCプロットの調査が、グローバルモデル予測および第2段階モデル予測を結合するために最適な関数fを決定するために使用され得る。
追加として、グローバルモデルがニューラルネットワーク、たとえば、多数の異なる層(たとえば、畳み込み層、完全接続層、アテンション機構など)をもつ深層ニューラルネットワークである構成では、癌予測確率を生成する最終ステップは、最後の層(ただ1つの出力をもつ)である。中間畳み込み層(たとえば、最後から2番目の層)は、ただ1つの数である最終予測よりも多い場合が多い、極めて豊富な情報を含んでいる傾向がある。これらの隠れた中間ユニットまたは層は、出力(「特徴マップ」と呼ばれ、すなわち、特徴およびそれらの位置)を生じ、グローバルモデルにおける改善された最終層/分類器をトレーニングするために、この出力に第2段階モデル(同じく深層畳み込みニューラルネットワーク)の中間層の特徴マップがアペンドされ得る。これは、癌の最終またはアンサンブル確率予測を生成するために、第2段階モデルをグローバルモデルと結合する、さらに別の方法を表す。
追加として、反対方向に特徴マップをアペンドすることが可能である。すなわち、図5に示されるように、グローバルモデルにおける中間層からの特徴マップが、第2段階モデルにおける中間層の特徴マップに連結され得、最終予測が第2段階モデルから生成される。したがって、いずれの方向において特徴マップをアペンドすることも可能であり、また、両方の方向も可能であり、すなわち、グローバルモデルにおける中間層からの特徴マップが、第2段階モデルにおける中間層における特徴マップに連結され、第2段階モデルにおける中間層からの特徴マップが、グローバルモデルの中間層における特徴マップに連結される。たとえば、グローバルモデルおよび第2段階モデルの開発において、第2段階モデルおよびその層を微調整し続けるが、グローバルモデル特徴をフリーズさせることができる。他の方向が可能であり、その場合、第2段階モデルがフリーズされ、第2段階モデルからグローバルモデルに特徴マップをアペンドすることで、グローバルモデルを微調整し続けることができる。モデルが完全に開発およびフリーズされると、次いで、上記で説明したように、アンサンブル確率を生成するために、いずれかの方向で、または両方の方向で、特徴マップのアペンドを実行することができる。
次いで、上記で説明したようなモデルのアンサンブルの確率予測に基づいて、既存のLung-RADS(商標)リスク層別化バケットの代替物を提案することが可能である。たとえば、CTスキャン癌予測をリスクバケットに入れるために、この最終確率においてカットオフを設定することができる。一例として、仮定の確率カットオフを使用すると、0<PE<0.1である場合、それが第1のリスクバケットになる。0.1<PE<0.2である場合、それが第2のバケットになる、などである。我々の確率予測のための適切なカットオフを決定することによって、今日のLung-RADS(商標)において存在するリスクバケットと同様であるバケットを作成することが可能である。そのようなカットオフは、所与のデータセット(たとえば、NLSTデータセット)に、遡及的にアンサンブル確率を生成する方法を適用すること、ならびに、提案されたカットオフスキーマの各グループ化における患者に関連付けられた臨床データを検査すること、およびグループ化における患者における臨床データが、Lung-RADS(商標)などの既存の知られているグループ化、または設計され得る任意の新しいグループ化スキーマに一致または近似するまで、カットオフを調整することによって、確認され得る。我々は、Lung-RADS 3+、Lung-RADS 4A+、およびLung-RADS 4B/XのPPVを推定するために、以前から存在している手法を複製することを提案する。次いで、我々は、3つの既存のリスクバケットと比較するために、我々のチューンセットにおいてこれらのPPV値に一致した動作点を選定した。これらの動作点は、同じLung-RADSスコアをもつ悪性腫瘍陽性のためのLung-RADSカットオフと相関するように設計された、3+、4a+、および4b/xの「gRADS」スコアとして知られている。
図3は、単一の第2段階モデル132によって、所与の入力癌候補3Dボリューム134のための特徴マップ、および次いで予測p1、p2、p3を生成する、マルチスケール特徴抽出方法の図である。モデル132は、層200、202、204を含む、3D Inception深層畳み込みニューラルネットワークからなる。平均プール層は、入力の矩形領域を平均化することによってダウンサンプリングする。平均プールは、予測p1の形態における分類を生成する高密度分類層(dense classification layer)206に提供される、分類のための多数の特徴(576個の特徴など)のベクトルを生成する。3D Inceptionモデルにおける他の層202および204は、追加のボリュームおよびそれぞれの分類特徴を生成し、高密度分類層は、分類予測p2およびp3を生成する。したがって、この例では、第2段階モデルに供給された単一の癌検出候補が、3つの異なる癌確率予測、p1、p2およびp3を生じる。
図4は、受信者動作特性(ROC)AUC曲線としての、我々のアンサンブル方法の性能のプロットを示す。図4は、提案する方法の感度および特異度をプロットする。高特異度の動作点が、前のものなしでLung-RADS(商標)を使用する人間の読影者との比較とともに示される。深層学習モデルの受信者動作曲線下の面積は、94.2%(95%信頼区間(CI)91.0, 96.9)であった。テストセットにおいてLung-RADS(商標)を使用する放射線科医と比較すると、トレーニングされたモデルは、統計的に有意な絶対9.2%(95% CI 8.4, 10.1)高い特異度を達成し、3.4%(95% CI -5.2, 12.6)高い感度(統計的に有意ではない)を示した。放射線科医は、モデルとLung-RADS(商標)との間の不一致を定性的に検討した。予備解析は、モデルが傷と早期悪性腫瘍を区別することにおいて優れている可能性があることを示唆している。
したがって、本開示は、肺癌検出およびスクリーニングのための改善された深層学習手法を提示する。モデルのアンサンブルは、放射線科医によるCTスキャンデータセットにおける偽陽性の回避を助けることによって、不要な侵襲的手順(たとえば、生検、手術)の低減に潜在的に役立つことができる。
II.現在の画像データセットおよび縦断的画像データセット、ならびに/またはマルチモーダル画像データセットを伴う、深層学習モデルのアンサンブル
本明細書の背景技術のセクションにおいて上述したように、縦断的画像データセット(すなわち、現在または直近の画像データセットとの比較のために利用可能な前の患者画像データセット)、およびマルチモーダル画像データセットは、診断画像における癌スクリーニング診断または癌検出の改善に役立つことができる。多くの場合、そのようなデータセットの解釈は、放射線科医が複数の時間にわたって画像の同じ領域を比較することによって、手動または半自動的に実行される。深層学習を使用する自動化された手法は、癌を識別および分類するために、複数の画像にわたって微妙な手掛かりを識別するための能力を提供することができる。我々は、本明細書のこのセクションにおいて、深層学習モデルのアンサンブルを使用する癌検出および分類のために、縦断的またはマルチモーダルイメージングを組み込むための一般的な手法を提示する。
以下の説明では、例として、現在の画像データセットおよび前の画像データセットを含む、低線量(LD)胸部コンピュータ断層撮影(CT)画像からの肺癌スクリーニングのトピックを提示する。しかしながら、説明する手法は、たとえば、前立腺癌検出および分類のための縦断的磁気共鳴イメージング(MRI)データセットなど、他の癌のトピックおよび放射線学イメージングモダリティに一般化することができる。
深層学習モデルのアンサンブルは、たとえば、グローバルベースで癌の存在を示すデータセットにおける特徴を抽出する、3D Inceptionアーキテクチャを使用する、3D畳み込みニューラルネットワーク(CNN)の形態におけるグローバルモデルを含む。このグローバルモデルは、グローバルベースで(たとえば、医用画像データセットが3Dボリュメトリック画像データセットからなる場合、CTボリューム全体にわたって)、医用画像ベースのデータセットにおける癌の存在の確率および位置を予測し、この予測に関連付けられる特徴を識別または抽出するようにトレーニングされ得る。グローバル予測的モデルは、入力として、最近の画像データセット、および場合によっては縦断的画像データセットを使用する。したがって、グローバルモデルは、入力として、ボリュームデータセット全体(たとえば、最近のもの、および場合によっては縦断的データセット)をとることがあり、癌の存在を示す特徴を抽出する。場合によっては、肺癌のためのCTデータセットの一例では、このグローバルモデルは、胸部CTデータセットにおいて非肺組織から肺組織を分離するための特徴を含み、肺組織のみにおける癌の存在を示す特徴のセットを抽出する。
深層学習モデルのアンサンブルはまた、入力として最近の画像データセットおよび縦断的画像データセットを受信する、2段階予測モデルを含む。この2段階予測モデルは、第1段階または検出モデルと、第2段階または確率モデルとを含む。検出モデルは、現在のCTデータセットのフルボリュームにおいて動作し、癌検出候補(たとえば、CTデータセットにおいて、癌性である場合もそうでない場合もある、単なる結節ではなく、癌であり得る候補を含んでいる、CTデータセットにおける3Dデータの異なるクロップされたボリューム)を識別する。次いで、癌検出候補ボリュームは、登録または相対ランドマーク位置決め(relative landmark positioning)手順を介して、前のフルボリュームデータセットにおいて位置特定される。癌検出候補ボリュームの各々は、3D特徴抽出器、たとえば、グローバルモデルにおいて使用されるような、3D Inceptionアーキテクチャなどの深層畳み込みニューラルネットワークを含む、第2段階モデルを通過させられる。
癌検出候補の各々のための特徴抽出器からの特徴のすべて(本明細書では「特徴マップ」)が、平均プーリングおよび/または畳み込み層における演算後に連結される。これらの特徴はまた、グローバルモデルから抽出された特徴(特徴マップ)と連結される。そのような連結後、第2段階または確率モデルは、癌検出候補の各々に癌確率pを割り当てる、分類動作を(たとえば、ニューラルネットワークアーキテクチャにおける1つまたは複数の完全接続層の動作によって)実行する。言い換えれば、グローバルモデルから抽出される特徴が、第2段階モデルからの各癌検出候補パッチのための特徴と連結されるので、すべての予測が、(2段階モデルのうちの第1段階からの)結節レベルの位置情報、ならびにグローバルモデルからのグローバルコンテキストの両方に依拠するようになる。各癌検出候補のための予測が、たとえば、以下で説明するようなnoisy-or手法に基づいて計算される、イメージングデータセットのための単一の悪性度スコアに結合され得る。手短に言えば、各癌検出候補からの予測が、その候補のための悪性腫瘍の確率として解釈され、(ボリューム全体における)最終予測は、以下で説明するように、これらのROIのうちの少なくとも1つが悪性である確率である。この最終確率予測は、以下で「悪性度スコア」と呼ばれる。
悪性度スコアが与えられると、癌のあり得る位置であるボリュームにおける領域または位置が、最高スコアを引き起こした、2段階モデルのうちの第1段階または検出モデルからのサブボリュームを取ることによって、強調され得る。サブボリューム内で、統合勾配など、当技術分野で「アテンション機構」としても知られるアトリビューション方法が、より正確に位置を識別するために使用され得る。追加として、グローバルモデルにおけるアトリビューション方法が、癌予測につながる画像における複数の領域を識別するために使用され得る。これは、異常なリンパ節、または癌性の結節の周囲の血管組織さえも含み得る。
1つの可能な構成では、3つ、5つ、または10個もなど、2つ以上の異なる第2段階確率モデル、たとえば、モデルA、B、C、Dなどがあり得、各々がそれ自体のパラメータのセットをもち、各々が、最近の画像データセットおよび前の画像データセットと、グローバルモデルおよび検出モデルから抽出された特徴の両方を使用して、検出候補の各々における癌の確率の予測を作成する。そのような第2段階モデルを定義するパラメータにおける可能な違いには、1)異なるパッチサイズ(すなわち、異なるスケールで癌を検出するために、データセットにおけるクロップされた3Dデータの様々なサイズのボリューム)、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。具体的には、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、トレーニング中に追加のトレーニングデータを生成するように修正され得る。たとえば、小さいランダム回転が、入力ボリュームに適用されて、追加のトレーニングボリュームが生成され得る。このデータ拡大は、アンサンブルのメンバーの間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。
第2段階確率モデルによって生成された予測確率が、たとえば、何らかの定義関数f、またはアルゴリズムに従って結合されて、医用画像ベースのデータセットにおける癌/癌なしの全体的または最終確率予測(たとえば、典型的には0から100までのパーセンテージを単位として提示される「悪性度スコア」)、および癌の可能性がある位置が生成され得る。1つの構成では、これらの確率はまた、既存のスコアリングスキーマに近似するために、または新しいものを定義することによってのいずれかで、新規のスコアリング方法においても使用され得る。定義関数fは、第2段階モデルの各々の、すなわち、すべての癌検出候補にわたって、または加重平均の形式において計算される、予測された確率の平均化からなり得る。
図5は、縦断的イメージングを用いる癌の深層学習ベースの分類のための我々のシステムおよび方法を示す。読者は、図1において上記で説明したシステムとの全体的な類似性に気付くであろうが、少しの違いがあり、図5は、入力として縦断的画像データセットを使用するための追加の能力を含み、グローバルモデルが、本質的に予測のために使用されず、むしろ、癌の存在を示すデータセットにおける特徴(すなわち、特徴マップ)を抽出するために使用され、そのような特徴が、第2段階確率モデルの抽出された特徴にアペンドまたは連結されて、1つまたは複数の検出された癌候補における癌の確率の予測が生成される。
我々の手法は、高レベルで、現在のCTボリューム520および縦断的または前のCTボリューム522を含む、3D CTパッチにおける癌性の結節検出のための第1段階または検出モデル502Aと、後続の、第2段階または確率モデル502Bによる、トップの検出された関心領域(ROI)における悪性腫瘍予測とを含む、2段階モデル502からなる。加えて、システムは、グローバルベースで、癌を示すデータセットにおける特徴を抽出するために、現在のCTボリューム504、および場合によっては前のCTボリューム506をそれぞれ使用して、ボリューム全体において動作するエンドツーエンドグローバル畳み込みモデル500を含む。前のCTボリューム506の使用は、モデルの性能におけるわずかな改善を与えることがあり、随意であり、必要ではないものと見なされる。グローバルモデルからの特徴が、第2段階モデルから抽出された特徴にアペンドされるので、(538で示された分類器によって生成された)すべての予測が、結節レベルのローカル情報、ならびにグローバルコンテキストの両方に依拠するようになる。出力540は、以下で説明するNoisy-or手法などのアルゴリズムまたは関数を使用する、現在のCT画像データセットおよび前のCT画像データセットが与えられた、患者のための癌の確率予測である。
現在の画像および縦断的画像の随意に再サンプリングされたフルボリュームが、グローバルモデル500の3D特徴抽出器(508)、たとえば、3D Inception深層CNNを通過させられて、グローバルコンテキストが取り込まれる。特徴は、1,024個の特徴チャネルをもつ、8×8×8のより小さいボリューム(510)として表される。これらの特徴が、図5の上側部分において示されるように、チャネル次元において連結され、514で示されるように、512個の特徴の畳み込み層および平均プールにおいて結合される。次いで、特徴マップが、536で示されるように、第2段階確率モデルからの特徴マップと連結される。
2段階モデル502は、入力として、フルボリュームの現在の高解像度CTデータセット520、および前のフルボリュームの高解像度CTデータセット522を受信し、2段階モデルは、単に本質的に結節ではなく、癌候補を検出するようにトレーニングされる、結節検出器524の形態において、第1段階または検出モデル502Aを含む。これらの癌候補(サブボリューム)のうちの1つが、528に示される。登録または相対ランドマーク位置決め手順を使用して、このより小さいサブボリュームまたはROIはまた、前のフルボリュームCTデータセット522においても識別され、526で示される。代替的に、結節検出器524は、対応するROI526を識別するために、前のフルボリュームCTデータセットにおいて動作することができる。各サブボリュームまたはROI526、528は、3D特徴抽出器(530)、たとえば、3D Inception深層畳み込みニューラルネットワークを含む、第2段階確率モデルに移動する。3D特徴抽出器530は、共有重み、すなわち、特徴をどのように処理するかを示す重みを使用し、これらの重みは、グローバルモデルの3D特徴抽出器508の重みと同じである必要はない。小さいボリューム532は、1,024個の特徴チャネルの圧縮ボリューム(1×2×2)を表す。これらのボリュームが、図5に示されるように、チャネル次元において連結され、534で示されるような平均プーリングおよび/または畳み込み層を受けて、512個の特徴が生じる。534から生じるこの特徴マップが、536で、グローバルモデルからの512個の特徴の特徴マップと連結され、次いで、結合された1,024個の特徴が、538で示されるような分類動作を受ける(たとえば、第2段階確率モデル502Bにおける完全接続層の出力)。この分類ステップは、第1段階モデルの結節検出524によって識別されたROIの各々のための確率予測の生成である。出力540として、単一の悪性度スコアが、noisy-or手法に基づいて計算される。サブボリュームまたはROIの数は、適用例および要件に応じて変動し得ることに留意されたい。また、前のイメージングが利用可能ではない場合には、空白画像が、ネットワークを通して供給され得る。これは、モデルが空白画像を受け入れるようにトレーニングされる限り、可能である。
各ROIからの予測が、noisy-or手法を使用して、ボリューム全体における出力ステップ(540)において、単一の悪性度スコアに結合され、各ROIからの予測が、そのROIのための悪性腫瘍の確率として解釈され、(ボリューム全体における)最終予測は、これらのROIのうちの少なくとも1つが悪性である確率である。
Figure 2021528751
ただし、P[ROI悪性腫瘍]は、所与のROIのために分類プロセス(538)によって生成された予測である。これは、上記で説明したような図1における、前のものなしのシステムのための確率予測の生成についての説明と同様である。
図5において上記で説明したシステムは、前の画像データセットまたは縦断的画像データセット、および現在の画像データセットを有する、MRI、PET、またはCTスキャンなど、異なるタイプの3Dボリュメトリックデータセットに適用可能であることは諒解されよう。また、図5のシステムは、現在のデータセットおよび縦断的データセットの代わりに、マルチモーダルデータセットを有する状況にも適用可能であり、マルチモーダルデータセットにおいては、「前の」ボリューム、たとえば、図5におけるCTボリューム522の代わりに、たとえば、入力として、CTおよびMRIデータセット対、またはCTおよびPETデータセット対、またはMRI、CT、およびPETデータセットトリプレット、または、たとえば、たとえば当技術分野でマルチモーダルMRI画像データセットとして知られていることがある、異なるタイプのMRI画像を取得するようにスキャナの設定を制御することによって、単一のMRIスキャニング動作において取得されるMRI画像のセットなど、異なるタイプの3Dボリュームデータセットを有することも諒解されよう。
前のモダリティ画像データセットまたは他のモダリティ画像データセットを考慮に入れる深層学習システムの一般化された図が、図6に示されている。562および560に示されるように、好ましくは、画像が重複するか、または登録内にあるように、すべての画像データセットを共通の3D座標系に持ち込むように実行される、初期融合または登録ステップがある。登録または融合の精度の度合いは、特に重大ではない。
次いで、グローバルモデル500は、グローバルベースで、フルボリュームにおける癌の存在を示す特徴を抽出するために、特徴抽出器508(たとえば、3D Inceptionアーキテクチャ深層畳み込みニューラルネットワーク)を用いて、フルボリューム画像データセットにおける動作を進める。これらの特徴が、チャネル次元において連結され、514で、畳み込み層および平均プーリングを受ける。グローバルモデルにおける前のモダリティ画像または他のモダリティ画像(506)の使用は、やはり随意であり、必須ではないと見なされ、前のモダリティ画像または他のモダリティ画像の使用は、全体的モデル性能をわずかに改善し得る。
同時に、フルボリュームデータセット520、522のうちの一方が、癌検出候補528であるサブボリューム(サブボリューム1)を識別する3D検出モデル524を受け、早期融合プロセスの結果を使用して、対応するサブボリュームまたはROI526が、他方のボリューム522において識別される。この例では、検出モデル524によって識別されたn個の癌検出候補があり、ただし、nは、1以上の何らかの整数、典型的には、たとえば、2、3、または5である。したがって、n個のROIがある。n個のサブボリュームまたはROIの各々は、チャネル次元において1,024個の特徴をもつ圧縮ボリュームを生成する3D特徴抽出器530(3D Inceptionなどの深層畳み込みニューラルネットワーク)を受ける。
これらのn個のROIの各々について、これらのボリュームがチャネル次元において連結される。追加の畳み込み層および平均プーリング(534)による処理後、次いで、各インスタンスが、グローバルモデルからの特徴マップによって連結され、次いで、538で示されるような分類動作を受けて、n個のROIの各々のための確率予測が生じる。次いで、これらの確率予測が、上記で説明したNoisy-Or手法を使用して結合される。
図5および図6の説明が、単一の第2段階確率モデル502Bを使用していることは諒解されよう。しかしながら、セクション1の説明において説明したように、複数の第2段階確率モデルを使用することが可能であり、その場合、第2段階確率モデルの各々がわずかに異なるモデルパラメータを有し、次いで、第2段階確率モデルの結果が、何らかの関数fに従って結合されるか、またはすべてのモデルの間で平均化され、次いで、平均化の後、Noisy-Or手法に従って、最終確率が生成される。
図7A〜図7Cは、NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットおよび縦断的画像データセットありおよびなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
図8A〜図8Cは、2段階モデルのうちの第1段階または検出モデルによって、潜在的に癌性であるとして識別された関心領域を定義する、バウンディングボックス800を伴う、患者の縦断的CTスキャン画像である。
図9A〜図9Cは、2段階モデルのうちの第1段階または検出モデルによって、潜在的に癌性であるとして識別された関心領域を示すボックス902を伴う、患者の3つの異なるCTスキャン画像の別の例である。より大きいバウンディングボックス900は、第2段階モデルの予測モジュールが癌の確率の予測を作成するため、および周囲のコンテキスト情報を提供するために利用可能である。
図10Aおよび図10Bは、識別されたROIの中心に基づく、前のCTスキャン画像および現在のCTスキャン画像の登録の一例を示す。
図11A〜図11Cは、第2段階モデルにおける、統合勾配などのアテンション機構の使用の一例を示す。図11Aでは、癌性の可能性が高いと予測された関心領域を示す、CTスキャン画像1100の部分が示されている。図11Bは、図11Aの画像1100へのアテンション機構の適用の結果、すなわち、癌の可能性が高い予測に最も寄与した、画像1100の特定の領域を示すために、対比色で示される小さい領域1102を示す。図11Cでは、画像1100が再びレンダリングされているが、図11Bのアテンション機構結果1102が重ね合わせられている。簡単に言えば、図11Cの画像を調査している放射線科医が、アテンション機構の使用の結果として、癌の予測の最大の原因である画像の部分(1102)に向けられる。
さらなる留意事項
図1のシステムは、クラウド環境において展開され得、クラウド環境では、グローバル予測的モデルおよび2段階予測的モデルが、リモートで(たとえば、モデルをトレーニングおよび開発したサービスプロバイダによって、たとえば、クラウドにおいて)実装される。この構成では、CTスキャンデータセットが、コンピュータネットワーク(たとえば、インターネット)上で送られ、サービスプロバイダは、CTデータセットが取得されるクリニックまたはオフィスに最終確率スコアおよび位置を返し、そこで、放射線科医がCTスキャンを検討中であるか、またはそこで、医師が、患者から取得されたCTスキャンに関して患者と協議し、さらなる治療を計画中であり得る。代替的に、図1のシステムは、ローカルに実装され得、すなわち、コンピューティングリソースおよび深層学習モデルは、CTデータセットが取得されるか、または、たとえば、放射線科医もしくはかかりつけ医によってワークステーション上で閲覧される、オフィス、クリニック、または病院のローカルに位置する。
III.構造的ニューロイメージングおよび深層学習を使用する脳年齢の予測
このセクションは、構造的磁気共鳴イメージングデータセットからの脳年齢予測のための提案する深層学習モデルの使用について説明する。
年齢関連疾患および障害によって、社会にかかる負担が増大している。加齢の影響は被験者特有のものであるので、年齢関連の身体障害および認知障害のリスクが高い人々を識別するために、原因となる生物学的加齢プロセスのマーカーが必要とされる。構造的MRI画像は、脳における年齢関連変化を測定する際に極めて有用である。したがって、この研究の目標は、SMRI画像に基づいて、脳年齢予測アルゴリズムを開発すること、および脳における加齢関連疾患のバイオマーカーとして、予測脳年齢を調査することである。
加齢関連疾患の早期検出には、原因となる生物学的加齢プロセスのモデルが必要である。このセクションでは、我々は、構造的磁気共鳴イメージング(SMRI)および深層学習を使用することによる脳年齢予測器について説明し、脳の加齢のマーカーとして、予測脳年齢を評価する。我々の手法は、転移学習パラダイムを使用し、高齢の被験者から収集された実際のSMRIデータにおいてトレーニングおよび検証されている点において、領域知識を必要としない。我々は、SMRI画像から脳年齢を予測するために、回帰およびバケット分類とともに、提案する畳み込みニューラルネットワーク(CNN)に基づいて、2つの異なる予測的モデルを開発した。回帰ベースのモデルおよび分類ベースのモデルは、認知機能が正常な被験者の脳年齢の予測において、それぞれ、5.54および6.44(歳)の2乗平均平方根誤差(RMSE)を達成した。さらなる解析は、同じ暦年齢グループ内の認知障害のある被験者の予測脳年齢と正常な被験者の予測脳年齢との間に実質的な差があることを示した。
このセクションで説明するモデルは、概して、図1の「グローバルモデル」110および図5のグローバルモデル500に対応し、以下で説明する作業では、我々は、図1および図5の2段階モデルを使用しなかった。
この主題における我々の手法と以前の取り組みとの間の大きな違いは、1)我々が、領域知識を必要とすることなく、生のSMRI画像から関連する特徴を学習するために、深層学習を使用すること、および2)我々が、主な加齢関連疾患であるアルツハイマー病を発症するリスクがある被験者から収集されたデータを用いて、提案する手法を検証することである。以前の研究は、SMRI画像から脳年齢を予測するために、ガウス過程回帰を使用する、機械学習ベースの手法を提案している。J. H. Cole他、「Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker」、NeuroImage、vol. 163、115〜124ページ、2017、J. H. Cole他、「Brain age predicts mortality」、Molecular Psychiatry、2017を参照されたい。しかしながら、それらの手法は、人間の脳の構造の領域知識から導出された特徴に依拠している。一方、P. Sturmfels他、「A domain guided CNN architecture for predicting age from structural brain images」、arXiv preprint arXiv:1808.04362、2018は、脳年齢を予測するために最小限の領域情報を使用する、CNNベースのアーキテクチャを提案した。しかしながら、その研究は、子供から収集されたSMRIイメージングデータを使用して実行されたものであり、高齢の患者の加齢関連疾患リスクを予測することができるか否かは不明である。
我々は、事前トレーニングされた3D Inception-V1特徴抽出器に基づく転移学習手法を採用し、回帰および分類問題として、SMRI画像から脳年齢を予測するように再トレーニングした。このモデルは、本明細書の以前のセクションで説明した「グローバルモデル」に類似しており、いかなる領域知識も必要とせず、1)リグレッサを使用する、および2)バケット化分類器(以下で説明する)を使用する、2つの異なる方法で、脳年齢を予測した。我々は、Alzheimer's disease neuroimaging initiative(ADNI)データセットを使用して、我々の手法を評価した。回帰方法およびバケット化分類器方法は、認知機能が正常な被験者の脳年齢の予測において、それぞれ、5.54および6.44(歳)の2乗平均平方根誤差(RMSE)を達成した。加えて、さらなる解析は、回帰手法およびバケット化分類手法がそれぞれ利用されるとき、認知障害のある被験者の予測脳年齢が、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高いことを示した。本質的に、我々の手法は、いかなる領域知識も使用せずに、SMRI画像に基づいて脳年齢を予測するためのCNNベースのモデルを利用し、我々の手法を使用することによって予測された脳年齢が、加齢関連疾患リスクを識別するために使用され得ることを実証する。
方法
我々の手法の全体的な流れが、図12に示されている。図12のこのモデルは、図5の上側部分のグローバルモデルにおいて示されている。同じ物理的寸法の3D SMRI画像が、入力としてパイプラインに供給された。3D特徴抽出器が、入力画像から特徴マップを抽出するために利用された。次いで、回帰タスクまたはバケット化分類タスクとして、年齢予測を作成するために、完全接続層が利用された。
データおよび前処理:我々は、我々の手法を検証するために、Alzheimer's disease neuroimaging initiative (ADNI)研究において収集されたデータを利用した。詳細については、http://adni.loni.usc.edu/を参照されたい。ADNIは、認知症、主にアルツハイマー病(AD)を発症するリスクがある高齢の被験者から、イメージングおよび血液バイオマーカーを定期的に収集する、進行中の縦断的研究である。ADNIの主要目的は、軽度認知障害(MCI)および早期アルツハイマー病の進行を測定するために、連続的な磁気共鳴イメージング(MRI)、陽電子放射断層撮影(PET)、他の生物学的マーカー、ならびに臨床的および神経心理学的評価が結合され得るか否かをテストすることになっている。我々は、1484名の一意の参加者の12,988個のSMRI画像を解析し、彼らについて、データセットから、彼らのADの臨床病期および暦年齢についてのグランドトゥルース情報が利用可能であった。ADの臨床病期は、認知機能正常(CN)、軽度認知障害(MCI)、およびアルツハイマー型認知症(AD)からなり、年齢は、50と100との間の実数である。データセットは、異なる時点において撮影された複数のSMRI画像と、患者の一部についての対応するグランドトゥルース情報とを含むものであった。このデータセットにおける3D SMRI画像は、MPRAGEシーケンスを使用して取得された。モデルトレーニングを実行する前に、我々は、生のSMRI画像を同じ物理的寸法(ボクセルサイズ)にサイズ変更し、それらのヒストグラムを均等化し、中心の周りで256×256×256(ボクセル)の形状にクロップした。
モデル説明(図12):J. CarreiraおよびA. Zisserman、2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)における、「Quo vadis, action recognition? a new model and the kinetics dataset」、IEEE 2017、4724〜4733ページにおいて記載されているような、ImageNetデータセットにおいて事前トレーニングされたInception-V1ネットワークに基づく3D特徴抽出器が、入力画像から特徴マップを抽出するために利用された。1つの完全接続層が、年齢予測を生成するために使用された。我々は、リグレッサおよびバケット化分類器を使用して、脳年齢を予測した。バケット化分類手法では、被験者の本当の年齢が離散範囲にビニングされ、SMRI画像が属するビンを予測するために、ニューラルネットワークが使用された。我々の手法では、我々は、年齢を5つのバケット、50〜60、60〜70、70〜80、80〜90、および90〜100にビニングし、それらのバケットに{1,2,3,4,5}におけるクラスラベルを割り当てた。これらのクラスラベルが、モデルトレーニング中に使用された。
評価:モデルトレーニング中に、我々は、入力データセットの50%のトレーニング小部分、25%のチューニング小部分、および25%のテスト小部分とともに、5分割相互検証(fivefold cross-validation)および患者ベースの層別化を利用した。患者ベースの層別化は、同じ患者のSMRI画像が3つのデータセットのうちの2つ以上において決して現れないことを保証するために利用された。さらに、CNNベースのモデルが、認知機能が正常な被験者のみのSMRI画像を使用してトレーニングされ、すなわち、トレーニングおよびチューニングセットは、認知障害のない被験者のみを含むものであった。我々は、健康的な加齢下でのベースライン年齢予測器を開発するために、この手法を取った。次いで、トレーニングされたモデルが、認知障害のある被験者および障害のない被験者の混合の脳年齢を予測するために使用された。回帰モデルは、実数の年齢を予測したが、バケット化分類手法は、離散値、すなわち、{55,65,75,85,95}のうちの1つを予測した。我々は、不偏テストサンプルを維持するために、テストセット中に何人かの認知障害のない被験者を含めた。第1に、我々は、チューニングセットにおいて達成された平均2乗誤差の平方根(RMSE)メトリックを使用して、モデル適合度を評価した。第2に、我々は、テストセットにおける認知障害のない被験者と障害のある被験者との間の脳年齢予測における差を評価した。我々は、テストデータセットにおける被験者のみを使用して、その解析を実行し、MCIおよびAD臨床病期にある被験者が、認知障害があると見なされた。我々は、予測年齢グループ(図14Aを参照)を見つけ出すために、バケット化分類のために使用された同じ範囲に基づいて、回帰モデルの実数化された予測年齢をグループ化した。
結果
図13aおよび図13bは、それぞれ、回帰モデルおよびバケット化分類モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。回帰モデルは、5.54のRMSEを達成したが、バケット化分類モデルは、6.44のRMSEを達成した。図14aおよび図14bは、同じ予測年齢グループにおける、認知障害のない被験者および障害のある被験者のための本当の年齢の分布のボックスプロットを示す。これらの図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示す。我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからである。加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった。
結論
我々は、SMRI画像から脳年齢を予測するために、転移学習パラダイムに基づいて、2つの異なる畳み込みニューラルネットワーク(CNN)ベースの手法を開発した。我々の2つのモデルは、認知障害のない被験者の脳年齢の予測において、5.54および6.44(歳)のRMSEを達成した。さらなる解析は、同じ暦年齢グループに属する、認知障害のある被験者の予測脳年齢と正常な被験者の予測脳年齢との間に実質的な差があることを示した。したがって、我々は、予測脳年齢が、人生の早期にアルツハイマー病などの加齢関連脳疾患を発症するリスクがより高い個人を、彼らの人生の早期に識別することにおいて、臨床的に有用であることが判明し得ると考える。将来の作業において、我々は、発見したものを検証するために追加のデータを取得し、予測性能を改善するために、モデル最適化を実行するつもりである。
この作業の1つの可能な実施形態では、患者または被験者が加齢関連脳疾患を発症するリスクがより高いか否かを予測するためのテストが実行され得る。テストは、同じ暦年齢グループに属する、認知障害のある被験者および正常な被験者の3D画像のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用する。この方法は、a)患者から1つまたは複数の3D画像を取得し、予測的モデルに、1つまたは複数の3D画像を供給するステップと、b)予測的モデルを用いて、被験者のための脳年齢予測を生成するステップと、c)脳年齢予測を、患者の実年齢と比較するステップとを含む。脳年齢予測が、患者の実年齢のものよりも実質的に大きい(たとえば、3歳、5歳、または10歳など、カスタマイズまたは調整され得るパラメータ)場合、患者は、認知障害またはアルツハイマー病などの年齢関連脳疾患を発症するリスクが高いとして識別される。「実質的に大きい」ための基準は、ユーザによって指定することができ、可能な例は、7歳または10歳である。この基準は、モデル予測の誤差の範囲よりも大きい値になると予想されるであろう。
説明した実施形態は、モデル生成および予測のためにSMRI画像を使用するが、この方法はまた、たとえば、CTスキャン画像など、脳の他の3Dボリュメトリック画像データセットにも適用可能である。
100 システム
102 患者
104 従来のCTスキャナ
106 3D CTデータセット、CTデータセット、データセット
110 グローバル予測的モデル、グローバルモデル
112 癌確率
120 メモリ
122 コンピュータシステム
130 第1段階検出モデル、検出モデル
132 第2段階確率モデル、第2段階モデル、単一の確率モデル、単一の第2段階モデル、モデル
132A、132B、132C 第2段階モデル
134 癌検出候補、検出候補、候補、所与の入力癌候補3Dボリューム
200、202、204 層
206 高密度分類層
500 エンドツーエンドグローバル畳み込みモデル、グローバルモデル
502 2段階モデル
502A 第1段階または検出モデル
502B 第2段階または確率モデル、第2段階確率モデル
504 現在のCTボリューム
506 前のCTボリューム、前のモダリティ画像または他のモダリティ画像
508 3D特徴抽出器、特徴抽出器
510 8×8×8のより小さいボリューム
520 現在のCTボリューム、フルボリュームの現在の高解像度CTデータセット、フルボリュームデータセット
522 縦断的または前のCTボリューム、前のフルボリュームの高解像度CTデータセット、前のフルボリュームCTデータセット、CTボリューム、フルボリュームデータセット、他方のボリューム
524 結節検出器、第1段階モデルの結節検出、3D検出モデル、検出モデル
526 対応するROI、サブボリュームまたはROI、対応するサブボリュームまたはROI
528 癌候補(サブボリューム)、サブボリュームまたはROI、癌検出候補
530 3D特徴抽出器
532 小さいボリューム
534 平均プーリングおよび/または畳み込み層、追加の畳み込み層および平均プーリング
538 分類器、分類動作、分類プロセス
540 出力、出力ステップ
800 バウンディングボックス
900 より大きいバウンディングボックス
902 ボックス
1100 CTスキャン画像、画像
1102 小さい領域、アテンション機構結果、画像の部分

Claims (54)

  1. 患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための方法であって、
    a)グローバルベースで、前記データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記データセットを供給するステップと、
    b)2段階予測モデルに前記データセットを供給するステップであって、前記2段階予測モデルが、
    1)前記データセット内の1つまたは複数の3次元癌候補の位置を検出する、第1段階検出モデルと、
    2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
    を備える、ステップと、
    c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとの両方を使用する、前記データセットにおける癌の確率の全体的予測、および(2)前記データセットにおける癌の位置を表す、データを生成するステップであって、前記癌の位置が、前記グローバル予測的モデルまたは前記2段階予測モデルのいずれかによって決定される、ステップと
    を含む、方法。
  2. 前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項1に記載の方法。
  3. 前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項2に記載の方法。
  4. ステップc)において、全体的確率が、前記グローバルモデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記候補の各々のための全確率との平均を備える、請求項2または3に記載の方法。
  5. 前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率に加えて、
    a)癌の転帰、
    b)2次元における少なくとも20mmのサイズの結節の存在、
    c)5年以内の死亡確率、
    d)2年以内の肺癌の診断
    のうちの少なくとも1つを予測するようにトレーニングされる、請求項1から4のいずれか一項に記載の方法。
  6. 前記グローバルモデルが、前記データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項1から5のいずれか一項に記載の方法。
  7. 前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項1から6のいずれか一項に記載の方法。
  8. 前記第1段階検出モデルが、前記データセットの全ボリュームにおいて動作する、請求項1から7のいずれか一項に記載の方法。
  9. 前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率の予測が前記識別された肺組織内のみでグローバルに動作するように、前記データセット内の肺組織を識別する肺セグメンテーション特徴をさらに備える、請求項1から8のいずれか一項に記載の方法。
  10. 前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項10に記載の方法。
  12. 前記複数の第2段階モデルが、特徴マップに関連付けられた中間畳み込み層を各々が有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、(1)前記第2段階モデルからの前記特徴マップを、前記グローバルモデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記グローバルモデルからの前記予測を生成すること、または(2)前記グローバルモデルからの前記特徴マップを、前記第2段階モデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記第2段階モデルの出力から前記予測を生成することのいずれかによって取得される、請求項1に記載の方法。
  13. 患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するためのコンピュータ実施システムであって、
    a)グローバルベースで、前記データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルと、
    b)2段階予測モデルであって、
    1)前記データセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
    2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
    を備える、2段階予測モデルと、
    c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとを使用する、前記データセットにおける癌の確率の全体的予測、および(2)前記データセットにおける癌の位置を表す、データを生成するためのコンピュータシステム実行コードと
    を組み合わせて備える、コンピュータ実施システム。
  14. 前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをさらに備え、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項13に記載のシステム。
  15. 前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、および4)トレーニング中のデータ拡大の結果としての異なるパラメータからなる、パラメータのグループから選択される、請求項14に記載のシステム。
  16. 全体的確率が、前記グローバルモデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記候補の各々のための全確率との平均を備える、請求項13から15のいずれか一項に記載のシステム。
  17. 前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率に加えて、
    a)癌の転帰、
    b)2次元における少なくとも20mmのサイズの結節の存在、
    c)5年以内の死亡確率、
    d)2年以内の肺癌の診断
    のうちの少なくとも1つを予測するようにトレーニングされる、請求項13から16のいずれか一項に記載のシステム。
  18. 前記グローバルモデルが、前記データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項13から17のいずれか一項に記載のシステム。
  19. 前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項13から18のいずれか一項に記載のシステム。
  20. 前記コンピュータシステムが、前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるためのコードをさらに実行する、請求項13から19のいずれか一項に記載のシステム。
  21. コンピュータ断層撮影データセットの肺癌スクリーニングの特異度を高めるための深層学習システムを生成するための方法であって、
    a)コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するように、3次元深層畳み込みニューラルネットワークの形態におけるグローバル予測的モデルをトレーニングするステップであって、前記トレーニングが、癌の存在または不在を示すグランドトゥルースアノテーションをもつ多数のコンピュータ断層撮影データセットに対して実行される、ステップと、
    b)前記コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補を検出するための、第1段階検出モデルをトレーニングするステップと、
    c)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをトレーニングするステップであって、前記複数の第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、ステップと、
    d)CTスキャンデータセットにおける癌の確率のアンサンブル予測を生成するために、前記グローバル予測的モデルおよび前記第2段階確率モデルの前記予測をアンサンブル方式で結合するためのアルゴリズムを定義するステップとを含み、
    前記グローバルモデルまたは前記2段階モデルのいずれかが、前記CTスキャンデータセットにおける癌の位置を識別するようにさらにトレーニングされる、方法。
  22. 前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、および4)トレーニング中のデータ拡大の結果としての異なるパラメータからなる、パラメータのグループから選択される、請求項21に記載の方法。
  23. 前記アルゴリズムが平均計算である、請求項21または22に記載の方法。
  24. 前記グローバル予測的モデルが、コンピュータ断層撮影データセットにおける前記癌の存在の確率に加えて、
    a)癌の転帰、
    b)2次元における少なくとも30mmのサイズの結節の存在、
    c)5年以内の死亡確率、
    d)2年以内の肺癌の診断
    のうちの少なくとも1つを予測するようにトレーニングされる、請求項21から23のいずれか一項に記載の方法。
  25. 前記グローバル予測的モデルが、前記肺組織における前記癌の確率の予測を生成するより前に、コンピュータ断層撮影データセットにおいて非肺組織から肺組織をセグメント化する、肺セグメンテーション手順を組み込む、請求項21から24のいずれか一項に記載の方法。
  26. 前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項1から12のいずれか一項に記載の方法。
  27. 前記アテンション機構が統合勾配を備える、請求項26に記載の方法。
  28. 前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項13から20のいずれか一項に記載のシステム。
  29. 前記アテンション機構が統合勾配を備える、請求項28に記載のシステム。
  30. 前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項21から25のいずれか一項に記載の方法。
  31. 前記アテンション機構が統合勾配を備える、請求項30に記載の方法。
  32. 複数のバケットの形態におけるリスク層別化スキーマを定義するステップであって、前記データセットにおける前記癌の確率の全体的予測が、前記リスク層別化スキーマにおける前記バケットのうちの1つに入れられる、ステップをさらに含む、請求項21から25のいずれか一項に記載の方法。
  33. 前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項32に記載の方法。
  34. 最近の医用画像ベースのデータセットおよび縦断的医用画像ベースのデータセットからの医用画像ベースの癌検出のための方法であって、
    a)癌の存在を示す前記データセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記最近のデータセット、および場合によっては前記縦断的データセットを供給するステップと、
    b)2段階予測モデルに、前記最近のデータセットおよび前記縦断的データセットを供給するステップであって、前記2段階予測モデルが、
    1)前記最近のデータセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
    2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記縦断的データセット、および前記グローバルモデルからの前記抽出された特徴を組み込み、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
    を備える、ステップと、
    c)前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた癌確率pから、前記データセットにおける癌の確率の全体的予測を生成するステップと
    を含む、方法。
  35. 前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項34に記載の方法。
  36. 前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項35に記載の方法。
  37. 前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3Dコンピュータ断層撮影(CT)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
  38. 前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3D磁気共鳴イメージング(MRI)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
  39. 前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3D陽電子放射断層撮影(PET)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
  40. 前記第1段階検出モデルが、前記最近のデータセットの全ボリュームにおいて動作する、請求項33から39のいずれか一項に記載の方法。
  41. 前記グローバル予測的モデルが、前記特徴の抽出が前記識別された肺組織内のみで発生するように、前記最近のデータセットおよび前記縦断的データセット内の肺組織を識別する肺セグメンテーション特徴をさらに備える、請求項34から40のいずれか一項に記載の方法。
  42. 前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項34から41のいずれか一項に記載の方法。
  43. 前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項42に記載の方法。
  44. 前記第2段階確率モデルが、特徴マップに関連付けられた中間畳み込み層を有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、前記グローバルモデルからの前記特徴マップを、前記第2段階確率モデルの前記中間畳み込み層の前記特徴マップに連結し、前記第2段階確率モデルの出力から前記予測を生成することによって取得される、請求項34に記載の方法。
  45. マルチモーダル画像ベースのデータセットからの医用画像ベースの癌検出のための方法であって、
    a)癌の存在を示す前記データセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記マルチモーダルデータセットにおける前記画像のうちの少なくとも1つを供給するステップと、
    b)2段階予測モデルに前記マルチモーダルデータセットを供給するステップであって、前記2段階予測モデルが、
    1)前記マルチモーダルデータセットにおける前記画像のうちの1つの中の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
    2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補、および前記マルチモーダルデータセットにおける他の画像、および前記グローバルモデルからの前記抽出された特徴において動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
    を備える、ステップと、
    c)前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた癌確率pから、前記データセットにおける癌の確率の全体的予測を生成するステップと
    を含む、方法。
  46. 前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項45に記載の方法。
  47. 前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項45に記載の方法。
  48. 前記マルチモーダル画像ベースのデータセットが、3Dコンピュータ断層撮影(CT)画像データセット、3D磁気共鳴イメージング(MRI)画像データセット、および3D陽電子放射断層撮影(PET)画像データセットのうちの2つ以上の組合せを備える、請求項45から47のいずれか一項に記載の方法。
  49. 前記マルチモーダルデータセットが、マルチモーダルMRI画像データセットを備える、請求項45から47のいずれか一項に記載の方法。
  50. 前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項45から47のいずれか一項に記載の方法。
  51. 前記第2段階確率モデルが、特徴マップに関連付けられた中間畳み込み層を有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、前記グローバルモデルからの前記特徴マップを、前記第2段階確率モデルの前記中間畳み込み層の前記特徴マップに連結し、前記第2段階確率モデルの出力から前記予測を生成することによって取得される、請求項45に記載の方法。
  52. 前記最近のデータセットおよび前記縦断的データセットを登録するステップをさらに含む、請求項34から44のいずれか一項に記載の方法。
  53. 前記マルチモーダルデータセットにおける前記画像を登録するステップをさらに含む、請求項45から51のいずれか一項に記載の方法。
  54. 患者が加齢関連脳疾患を発症するリスクがあるか否かを予測するための方法であって、前記方法が、同じ暦年齢グループに属する認知障害のある被験者および正常な被験者の3D画像のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用し、前記方法が、
    a)前記患者から1つまたは複数の3D画像を取得し、前記予測的モデルに、前記1つまたは複数の3D画像を供給するステップと、
    b)前記予測的モデルを用いて、前記被験者のための脳年齢予測を生成するステップと、
    c)前記脳年齢予測を、前記患者の実年齢と比較するステップとを含み、
    前記脳年齢予測が、前記患者の前記実年齢のものよりも実質的に大きい場合、前記患者が、加齢関連脳疾患を発症するリスクが高いとして識別される、方法。
JP2020570510A 2018-06-18 2018-11-20 深層学習を使用して癌検出を改善するための方法およびシステム Active JP7069359B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686541P 2018-06-18 2018-06-18
US62/686,541 2018-06-18
US201862726178P 2018-08-31 2018-08-31
US62/726,178 2018-08-31
PCT/US2018/061956 WO2019245597A1 (en) 2018-06-18 2018-11-20 Method and system for improving cancer detection using deep learning

Publications (2)

Publication Number Publication Date
JP2021528751A true JP2021528751A (ja) 2021-10-21
JP7069359B2 JP7069359B2 (ja) 2022-05-17

Family

ID=64902378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570510A Active JP7069359B2 (ja) 2018-06-18 2018-11-20 深層学習を使用して癌検出を改善するための方法およびシステム

Country Status (4)

Country Link
US (1) US20210225511A1 (ja)
EP (1) EP3788546A1 (ja)
JP (1) JP7069359B2 (ja)
WO (1) WO2019245597A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583160B1 (ko) * 2022-07-18 2023-09-26 주식회사 래디센 X-ray 이미지의 노듈위치 결정방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361868B2 (en) * 2017-08-16 2022-06-14 The Johns Hopkins University Abnormal tissue detection via modal upstream data fusion
JP7114347B2 (ja) * 2018-06-04 2022-08-08 浜松ホトニクス株式会社 断層画像予測装置および断層画像予測方法
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
US11294367B2 (en) * 2018-12-21 2022-04-05 Canvass Analytics Inc. Predictive analysis of industrial processes
US10936160B2 (en) * 2019-01-11 2021-03-02 Google Llc System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications
US11165954B1 (en) * 2019-06-19 2021-11-02 Objectvideo Labs, Llc Scene-aware custom tuned video surveillance detection system
GB2585005B (en) * 2019-06-24 2021-06-23 Roadmetric Ltd Training a machine to recognize a motor vehicle driver using a mobile device
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
AU2021207668A1 (en) * 2020-01-17 2022-09-15 Johnson & Johnson Enterprise Innovation Inc. System and method for predicting the risk of future lung cancer
US11403493B2 (en) * 2020-01-17 2022-08-02 Ping An Technology (Shenzhen) Co., Ltd. Device and method for universal lesion detection in medical images
CN111415743B (zh) * 2020-03-17 2021-07-09 推想医疗科技股份有限公司 肺炎分类方法、装置、介质及电子设备
EP3893198A1 (en) * 2020-04-08 2021-10-13 Siemens Healthcare GmbH Method and system for computer aided detection of abnormalities in image data
EP3901903B1 (en) * 2020-04-23 2023-06-14 Siemens Healthcare GmbH Classifying a lesion based on longitudinal studies
KR102231698B1 (ko) * 2020-06-15 2021-03-24 주식회사 루닛 정상 의료 영상을 필터링하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
WO2021258081A1 (en) * 2020-06-16 2021-12-23 Verily Life Sciences Llc Systems and methods for directly predicting cancer patient survival based on histopathology images
CN111814726B (zh) * 2020-07-20 2023-09-22 南京工程学院 一种探测机器人视觉目标检测方法
US20220068467A1 (en) * 2020-08-31 2022-03-03 International Business Machines Corporation Simulated follow-up imaging
US20220067509A1 (en) * 2020-09-02 2022-03-03 Alibaba Group Holding Limited System and method for learning from partial compressed representation
CN112201328B (zh) * 2020-10-09 2022-06-21 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
KR20220049754A (ko) * 2020-10-15 2022-04-22 삼성에스디에스 주식회사 영상 분류 모델 학습 장치 및 방법
CN112508884A (zh) * 2020-11-24 2021-03-16 江苏大学 一种癌变区域综合检测装置及方法
AU2021396186A1 (en) * 2020-12-09 2023-07-27 Imidex, Inc. Methods of assessing lung disease in chest x-rays
CN112861480A (zh) * 2021-01-28 2021-05-28 中山大学 一种基于Albert模型的改进预测方法、系统及装置
TWI790572B (zh) * 2021-03-19 2023-01-21 宏碁智醫股份有限公司 影像相關的檢測方法及檢測裝置
CN113191413B (zh) * 2021-04-25 2022-06-21 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN113284615A (zh) * 2021-06-16 2021-08-20 北京大学人民医院 一种基于XGBoost算法的胃肠道间质瘤预测方法和系统
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
CN115063349A (zh) * 2022-05-18 2022-09-16 北京理工大学 基于sMRI多维张量形态特征预测脑年龄的方法及装置
CN114677677B (zh) * 2022-05-30 2022-08-19 南京友一智能科技有限公司 一种质子交换膜燃料电池气体扩散层材料比例预测方法
CN114814776B (zh) * 2022-06-24 2022-10-14 中国空气动力研究与发展中心计算空气动力研究所 基于图注意力网络和迁移学习的pd雷达目标检测方法
EP4307224A1 (en) 2022-07-15 2024-01-17 Median Technologies Method and system for computer aided diagnosis using ensembled 2d and 3d neural networks based on medical images
CN115375665B (zh) * 2022-08-31 2024-04-16 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN116563524B (zh) * 2023-06-28 2023-09-29 南京航空航天大学 一种基于多视觉记忆单元的扫视路径预测方法
CN117853490B (zh) * 2024-03-06 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171910A (ja) * 1996-11-29 1998-06-26 Arch Dev Corp 診断支援装置及び方法
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
JP2008080121A (ja) * 2006-09-28 2008-04-10 General Electric Co <Ge> 画像内の領域を識別する方法及びシステム
US20090080748A1 (en) * 2002-10-18 2009-03-26 Cornell Research Foundation, Inc. System, Method and Apparatus for Small Pulmonary Nodule Computer Aided Diagnosis from Computed Tomography Scans

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
US10265040B2 (en) * 2015-07-13 2019-04-23 Scott Anderson Middlebrooks Method and apparatus for adaptive computer-aided diagnosis
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171910A (ja) * 1996-11-29 1998-06-26 Arch Dev Corp 診断支援装置及び方法
US20090080748A1 (en) * 2002-10-18 2009-03-26 Cornell Research Foundation, Inc. System, Method and Apparatus for Small Pulmonary Nodule Computer Aided Diagnosis from Computed Tomography Scans
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
JP2008080121A (ja) * 2006-09-28 2008-04-10 General Electric Co <Ge> 画像内の領域を識別する方法及びシステム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COLE JAMES H; ET AL: "PREDICTING BRAIN AGE WITH DEEP LEARNING FROM RAW IMAGING DATA RESULTS IN A RELIABLE AND HERITABLE BI", NEUROIMAGE, vol. 163, JPN5021010651, 29 July 2017 (2017-07-29), NL, pages 115 - 124, XP085290620, ISSN: 0004746962, DOI: 10.1016/j.neuroimage.2017.07.059 *
HEUNG-IL SUK; ET AL: "HIERARCHICAL FEATURE REPRESENTATION AND MULTIMODAL FUSION WITH DEEP LEARNING FOR AD/MCI DIAGNOSIS", NEUROIMAGE, vol. 101, JPN5021010650, November 2014 (2014-11-01), NL, pages 569 - 582, XP055564567, ISSN: 0004746961, DOI: 10.1016/j.neuroimage.2014.06.077 *
WAFAA ALAKWAA; ET AL: "LUNG CANCER DETECTION AND CLASSIFICATION WITH 3D CONVOLUTIONAL NEURAL NETWORK (3D-CNN)", INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS(IJACSA), vol. VOL:8,NR:8, JPN5021010649, 2017, pages 409 - 417, ISSN: 0004746960 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583160B1 (ko) * 2022-07-18 2023-09-26 주식회사 래디센 X-ray 이미지의 노듈위치 결정방법

Also Published As

Publication number Publication date
EP3788546A1 (en) 2021-03-10
CN112292691A (zh) 2021-01-29
WO2019245597A1 (en) 2019-12-26
JP7069359B2 (ja) 2022-05-17
US20210225511A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7069359B2 (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
Singh et al. Machine learning in cardiac CT: basic concepts and contemporary data
US10499857B1 (en) Medical protocol change in real-time imaging
US7529394B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
CN111563523B (zh) 利用机器训练的异常检测的copd分类
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
US20050049497A1 (en) Systems and methods for automated diagnosis and decision support for breast imaging
EP3685401B1 (en) Method and apparatus for deriving a set of training data
Carneiro et al. Automated 5-year mortality prediction using deep learning and radiomics features from chest computed tomography
US20100266173A1 (en) Computer-aided detection (cad) of a disease
US20220301159A1 (en) Artificial intelligence-based colonoscopic image diagnosis assisting system and method
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
US10957038B2 (en) Machine learning to determine clinical change from prior images
Nidhin Raju et al. Identification of interstitial lung diseases using deep learning
JP2004213643A (ja) コンピュータ支援調和法
WO2021178685A1 (en) Class-disparate loss function to address missing annotations in training data
Velichko et al. A Comprehensive Review of Deep Learning Approaches for Magnetic Resonance Imaging Liver Tumor Analysis
US20230162353A1 (en) Multistream fusion encoder for prostate lesion segmentation and classification
Costa et al. A deep learning-based radiomics approach for COVID-19 detection from CXR images using ensemble learning model
US20220287647A1 (en) Disease classification by deep learning models
US11742072B2 (en) Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images
CN112292691B (zh) 用于使用深度学习提高癌症检测的方法与系统
Happila et al. Logistic Segmentation and Multistage Categorization based Predictive Modeling of Lung Cancer
Kovalev et al. Automatic detection of pathological changes in chest X-ray screening images using deep learning methods
Ahmadyar et al. Hierarchical approach for pulmonary-nodule identification from CT images using YOLO model and a 3D neural network classifier

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7069359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150