JP2020091862A - 医用撮像における特徴識別 - Google Patents

医用撮像における特徴識別 Download PDF

Info

Publication number
JP2020091862A
JP2020091862A JP2019213909A JP2019213909A JP2020091862A JP 2020091862 A JP2020091862 A JP 2020091862A JP 2019213909 A JP2019213909 A JP 2019213909A JP 2019213909 A JP2019213909 A JP 2019213909A JP 2020091862 A JP2020091862 A JP 2020091862A
Authority
JP
Japan
Prior art keywords
image
image feature
medical
uncertainty
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019213909A
Other languages
English (en)
Other versions
JP7449077B2 (ja
Inventor
ディミトロス マヴリーウドゥス
Mavrieudus Dimitros
ディミトロス マヴリーウドゥス
バート ヤコブ バッカー
Jacob Bakker Bart
バート ヤコブ バッカー
ストジャン トラジャノフスキ
Trajanovski Stojan
ストジャン トラジャノフスキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020091862A publication Critical patent/JP2020091862A/ja
Application granted granted Critical
Publication of JP7449077B2 publication Critical patent/JP7449077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】対象者の医用撮像における特徴識別のためのコンセプトを提供すること。【解決手段】そのようなコンセプトの1つは、ベイジアン・ディープラーニング・ネットワークによって医用画像を処理し、上記医用画像の第1のサブ領域に位置している着目する第1の画像特徴、及び、関連付けられた不確実性値を決定する。また、敵対的生成ネットワークによって上記医用画像を処理し、上記医用画像の上記第1のサブ領域内の着目する第2の画像特徴、及び、関連付けられた不確実性値を決定する。上記第1及び第2の画像特徴とそれらの関連付けられた不確実性値に基づいて、上記医用画像の上記第1のサブ領域が分類される。【選択図】図1

Description

本発明は、全体として、(例えば、人又は患者のような)対象者の医用撮像に関し、特に、対象者の医用画像中の特徴を識別することに関する。
最近の技術的進歩の結果として、(例えば、医学的特徴を識別する、及び/又は、臨床的判断をする目的で)医用画像解析を支援するように設計されたモデルを使用するようになってきている。
医用画像解析においては、モデルの判断の背後にある理由を説明できることが好ましい。このことは、特に、医療の領域において重要である。ここで、医師は解析結果を理解して、それに応じてモデルの判断を受け入れるか、適応させる必要がある。
モデル検証を容易にするために、医師が医用画像の特徴に関して判断を迅速かつ容易に検証する、又は、確認することができるように、医用画像上にオーバーレイされる視覚的特徴(すなわち、画像の視覚的オーバーレイ)に説明を関連付けることが知られている。このことへの従来の取り組みにおいては、様々な種類の画像特徴に関係した更なる情報を何ら提供することなく、単純に「ヒートマップ」(例えば、医用画像中のどこが判断に関係するかについての可視表現)を作成する。
本発明は、上記のニーズを少なくとも部分的に満たすことを目的とする。
そのために、本発明は、独立請求項において定められるようなシステム及び方法を提供する。従属請求項は有利な実施形態を提供する。
対象者の医用撮像における特徴識別のための方法が提供される。この方法は、医用画像の第1のサブ領域に位置する着目する第1の画像特徴、及び、関連付けられた不確実性値を決定するために、ベイジアン・ディープラーニング・ネットワークによって上記医用画像を処理するステップと、上記医用画像の上記第1のサブ領域の範囲内の着目する第2の画像特徴、及び、関連付けられた不確実性値を決定するために、敵対的生成ネットワークによって上記医用画像を処理するステップとを有し、上記第1及び第2の画像特徴及びそれらの関連付けられた不確実性値に基づいて、上記医用画像の上記第1のサブ領域を分類する。
提案されるのは、画像特徴を識別して、そのような特徴に不確実性の尺度を関連付けるためのコンセプトである。そのようなコンセプトにおいては、敵対的生成ネットワーク(GAN)及びベイジアン・ディープラーニング(BDL)を利用する。提案された複数の実施形態は、例えば、ピクセルレベルのモデルの出力に関連する画像特徴を識別するために有用である。更に、複数の実施形態によれば、様々の種類の画像特徴、及び/又は、画像特徴に関係する不確実性に関連した追加情報の提供を容易にする。
GAN及びBDLの使用は、様々の種類の不確実性を捕えることを可能にし、より良い理解及び/又はより正確な分類を可能にする。例えば、BDLは、(不十分な)サンプルサイズ、ボーダーラインケース、及び、偶然性の(すなわち、ランダムな)不確実性(すなわち、観察において避けられない雑音に関係付けられた不確実性)に関係する不確実性を捕えることができる。それに対して、GANは、アウトオブサンプルの不確実性(すなわち、データ生成分布と大幅に異なる画像の部分)を捕えることができる。
したがって、これらの領域が対応する画像特徴について如何なる更なる説明も提供することなく単にモデルの出力に関係する画像領域をハイライトする従来のアプローチを越えるコンセプトが提供される。例えば、複数の提案された実施形態では、同一の不確実性の尺度を異なる画像領域(すなわち、サブ部分)に関連付ける。これにより、(例えば、画像のオーバーレイ及び関係する言葉による記述のような)視覚的特徴が提供され得るようにし、医療専門家(例えば、臨床専門医、技術者、医師、放射線科医等)が、モデルが比較的確信していない画像特徴に着目することによって敏速にモデルの結果を評価し得るようにする。
複数の実施形態は、医用画像に関係する(又は、付随する)1又は複数の医用レポートに含まれる症例説明を使用してトレーニングされた、敵対的生成ネットワーク(GAN)及びベイジアン・ディープラーニング(BDL)ネットワークの使用に基づくものである。BDLネットワークが医師にとって重要な第1の種類の不確実性を捕えるためにトレーニングされ、GANが第2の、異なる種類の不確実性を捕えることができるようにトレーニングされる。GAN及びBDLの両方が、(例えば、ピクセルレベルの)モデルの不確実性を説明する更なるネットワーク出力を使用する。そのようなネットワークは、従来の機械学習及び/又は画像処理技術を使用して構築され、履歴データ及び/又は確立された知識に影響を及ぼして、複数の提案された実施形態により提供される決定の精度を改善する。
デプロイの間、1つの実施形態では、画像特徴又は領域についての不確実性の評価を提供する(例えば、画像の一部が計算のために重要であるが、それに付随する高レベルの不確実性があるということを示す)ことができる。例えば、BDLによって無視されたがGANによって検出された不確実な領域が、その画像の領域が仕様外であるがそのモデルによっては使用されないということを示すものであると推測される。同様に、GANによってではなくBDLによって検出された不確実な領域が、分類するには難しい/ボーダーラインケースであるが類似した例がトレーニング中に提供されたということを示すものであると推測される。GAN及びBDLの両方によって検出された不確実な領域が、その画像の領域が仕様外である上にモデルの出力に影響を与えるということを示すものであると推測される。
したがって、提案された複数の実施形態では、モデルの出力にとって重要である画像領域を識別し、それらを、医師によって使用される視覚的特徴(例えば、関連する言葉による記述を有する画像のオーバーレイ)に関連付ける。このことは、医師が、迅速かつ容易にモデルの結果を確認することを可能にし、モデルが正しい判断をしない症例を識別することができる。更に、複数の実施形態では、各画像領域と関連付けられた不確実性を識別する。例えば、最も不確実な部分から始まるモデルの出力を医師が検討することができるようにする。
したがって、対象者の改善された(例えば、より正確な、及び/又は、より簡単な)医用画像解析及び医用撮像ベースの診断は、複数の提案された実施形態によって容易にされる。また、臨床診断意志決定支援(CDS)システムの効率及び/又は有効性を改善するために複数の実施形態が使用される。このように、改善されたCDSのコンセプトは、複数の提案された実施形態によって提供される。
複数の提案された実施形態は、特に、コンピュータ断層撮影(CT)スキャン、陽電子放出断層撮影(PET)/CTスキャン、並びに/又は、MRIスキャン及び対象者診断に関連があり、例えば、CT画像、PET/CT画像、及び/又は、MRI画像中の特徴を識別し、各々の特徴と関連付けられた不確実性を識別する助けとなる。提案された複数のコンセプトは、(例えば、CTスキャン、PETスキャン、又は、MRIスキャンのような)医用スキャンを用いて対象者の健康の正確な評価又は診断を更に容易にする。したがって、画像特徴は、MRI画像の(例えば、結節のような)MRI特徴を含む。同様に、画像特徴は、CT画像のCT画像特徴を含む。
幾つかの提案された実施形態では、画像の第1のサブ領域を分類することは、以下の動作を含む。第1及び第2の画像特徴と関連付けられた不確実性値に基づいて、第1及び第2の画像特徴が不確実かどうか決定すること、及び、第1及び第2の画像特徴のうちどれが不確実であると決定されるかに基づいて画像の第1のサブ領域を分類すること。例えば、第1及び第2の画像特徴の両方が不確実であると決定されるならば、複数の実施形態では、第1のサブ領域を第1のカテゴリに属するとして分類する。その上、第1の画像特徴のみが不確実であると決定されると、複数の実施形態では、第1のサブ領域を第2のカテゴリに属するとして分類する。更に、第2の画像特徴のみが不確実であると決定されると、複数の実施形態では、第1のサブ領域を第3のカテゴリに属するとして分類する。例えば、上記のように、GAN及びBDLの両方によって検出される不確実な領域は、その画像の領域が仕様外であり、更に、モデル出力に影響を与えるということを示すものであると推測される。
幾つかの実施形態においては、第1及び第2の画像特徴が不確実かどうかについて決定することが、第1及び第2の画像特徴に関連付けられた不確実性値を閾値と比較することを含む。したがって、医用画像の不確実な画像特徴には複数の単純な比較方法が使用される。こうして、正確な及び/又は情報を与えられた医療撮像を容易にする、複雑さを低減した簡単な、複数の実施形態が実現される。
幾つかの実施形態では、第1及び第2の画像特徴と関連付けられた不確実性値に基づいて画像のサブ領域のための不確実性値を決定することを更に含む。このことは、モデルの画像解析結果を評価するために利用できる情報量を増進するという利点を提供する。
第1及び第2の画像特徴は同じ画像特徴である場合がある。言い換えると、第1及び第2の画像特徴は、画像のサブ領域に存在する同じ画像特徴を含む場合がある。反対に、幾つかの実施形態においては、医用画像の処理は、第1の画像特徴が(少なくとも部分的に)第2の画像特徴と異なるようなものである。つまり、BDLネットワークによって医用画像を処理することによって、GANで医用画像を処理することから決定される第2の画像特徴と異なるように第1の画像特徴を決定する。
1つの実施形態は、複数の医学文書によってBDLネットワークをトレーニングするステップを有する。そのようなトレーニングでは、例えば、1又は複数の医学文書により提供される複数の画像特徴の説明を使用する。
更に、1つの実施形態は、1又は複数の医学文書によって記述された特徴に基づいて画像特徴を生成するためにGANをトレーニングするステップを有する。こうして、複数の実施形態を改良するために、トレーニング・データ及びクロス検証学習スキームが使用される。これによって、複数の実施形態により提供される情報の正確さ及び/又は関連性を改善する。
複数の実施形態は、画像の第1のサブ領域の決定された分類に基づいて出力信号を生成するステップを更に有する。複数の実施形態は、対象者、医師、医用撮像装置のオペレータ、及び、レントゲン技師のうち少なくとも1人に対して、そのような出力信号を提供するように適応される。こうして、出力信号は、画像特徴及びその関連付けられた不確実性を含む画像のサブ領域を示す目的で、ユーザ又は医用撮像装置に提供される。
幾つかの実施形態では、画像の第1のサブ領域の分類に基づいてグラフィック要素を変更するために制御信号を生成するステップを更に有する。それから、グラフィック要素は、制御信号に従って表示される。このように、ユーザ(例えば、放射線科医)は、対象者の医用画像に関する情報を受け取って表示することができる適切に配置されたディスプレイシステムを有し、ユーザは対象者から離れている。したがって、複数の実施形態は、ユーザが離れた所から対象者(例えば、患者)の医用画像を分析することを可能にする。
本発明の更に他の1つの態様によれば、対象者の医用撮像における特徴識別のためのコンピュータ・プログラム・プロダクトが提供される。ここで、このコンピュータ・プログラム・プロダクトは、それによって具現化されるコンピュータで読取り可能なプログラムコードを含むコンピュータで読取り可能な記憶媒体を備え、コンピュータで読取り可能なプログラムコードは、少なくとも1つのプロセッサで実行されるとき、1つの実施形態のステップの全てを実行するように構成される。
以下の要素を備えるコンピュータ・システムが提供される。1つの実施形態によるコンピュータ・プログラム・プロダクト、及び、上記コンピュータ・プログラム・プロダクトのコンピュータで読取り可能なプログラムコードの実行によって1つの実施形態によって1つの方法を実行するように適応される1又は複数のプロセッサ。
更なる態様においては、本発明は、1つの処理装置で実行されるとき、1つの実施形態によって対象者の医用撮像における特徴識別のための方法のステップを実行する命令を含む、コンピュータで読取り可能な非一時的記憶媒体に関するものである。
本発明の他の1つの態様によれば、対象者の医用撮像における特徴識別のためのシステムが提供される。このシステムは以下の要素を含む。医用画像の第1のサブ領域に位置する着目する第1の画像特徴及び関連付けられた不確実性値を決定するために上記医用画像を処理するように構成されたベイジアン・ディープラーニング・ネットワーク、上記医用画像の第1のサブ領域内の着目する第2の画像特徴及び関連付けられた不確実性値を決定するために上記医用画像を処理するように構成された敵対的生成ネットワーク、及び、上記第1及び第2の画像特徴及びそれらの関連付けられた不確実性値に基づいて、上記医用画像の第1のサブ領域を分類するように構成された分類コンポーネント。
提案されたシステムの全部又は部分が1又は複数のデータプロセッサを備えることは理解されるであろう。例えば、システムは、対象者の動きを決定するためにデータ処理を行うように適応された単一のプロセッサを用いて実現される。
対象者の医用撮像における特徴識別のためのシステムは医用撮像装置から離れて位置し、医用画像データは通信リンクによってシステムユニットに伝えられる。
システムは、BDLネットワーク及びGANを備えるサーバ装置と、分類コンポーネントを備えるクライアント装置とを備える。したがって、着目する画像特徴を決定する目的で専用のデータ処理手段が使用され、これにより、システムの他のコンポーネント又は装置の処理要求又は処理能力を下げる。
システムは、BDLネットワークとGANと分類コンポーネントとを備えるクライアント装置を更に備える。言い換えると、ユーザ(例えば、医療専門家)は、画像の1又は複数のサブ領域を分類するために受信した医用画像データ(例えば、医用画像)を処理する、適切に配置された(例えば、ラップトップ、タブレット型コンピュータ、携帯電話、PDAのような)クライアント装置を有する。
このように、処理は、医用撮像が発生する場所と異なる場所でホストされる。例えば、コンピューティング効率上の理由で、処理の一部のみを医用撮像場所で実行し、それにより関連する経費、処理パワー、伝達条件、その他を減らすことが有利な場合がある。
こうして、処理能力が、処理リソースの予め定められた制約及び/又は利用可能性によって異なる仕方で、システムを通して分散されることが理解されるであろう。
更に、複数の実施形態では、処理負荷の一部がシステムを通して分散され得るようにする。例えば、前処理は医用撮像システムで行われる。その代わりに、又は、それに加えて、処理は通信ゲートウェイで行われ得る。幾つかの実施形態においては、処理は遠隔のゲートウェイ又はサーバで行われ、エンドユーザ又は出力装置からの処理要求から切り離す。処理及び/又はハードウェアのそのような分散においては、(例えば、好適な場所で複雑な又は高価なハードウェアを集中させることによって)メンテナンス性能の改善を可能にする。また、利用できる処理能力に応じて、ネットワーク化されたシステムの範囲内で、計算負荷及び/又はトラフィックが計画、又は、配置されるようすることを可能にする。医用画像データはその場で処理し、得られたデータを遠隔のサーバで完全に処理するために送信することが好適なアプローチである。
複数の実施形態は、既存の、予め設置された、又は、別に提供された(例えば、CTスキャナ、PETスキャナ、又は、MRIスキャナのような)医用撮像装置と共に実施され、そのような装置からの信号、データ、又は、画像は、提案された複数のコンセプトに従って受け取られ、処理される。他の複数の実施形態には、医用撮像装置(例えば、CTスキャン装置又はMRIスキャナ)が、備えられて(例えば、統合されて)いる。
本発明の、これらの、そして、他の複数の態様は、以下に記述された実施形態から明らかであり、これらの実施形態を参照して説明されるであろう。
本発明の複数の態様に従う複数の例が、関連する図面を参照してここに詳述されるであろう。
1つの実施形態による対象者の医用撮像における特徴識別のためのシステムの簡略ブロック図である。 1つの実施形態による対象者の医用撮像における特徴識別のための方法のフローチャートである。 低線量CTを用いた肺がん検診の状況における1つの実施形態を示す図である。 他の1つの実施形態による対象者の医用撮像における特徴識別のためのシステムの簡略ブロック図である。 その中で1つの実施形態の1又は複数の部分が使用されるコンピュータの簡略ブロック図である。
医用画像中の画像特徴を識別して、そのような特徴に不確実性の尺度を関連付けるためのコンセプトが提案される。このことは、モデルの出力を評価し、及び/又は、改善するために有用である情報の提供を可能にする。
特に、GAN及びBDLネットワークが使用され得る。GAN及びBDLネットワークを組み合わせて使用することにより様々の種類の不確実性を捕えることができる。例えば、BDLは、偶然性の不確実性(例えば、観察において避けられない雑音に関係する不確実性)と同様に、(不十分な)サンプルサイズ、ボーダーラインケースに関係する不確実性を捕えることができるが、GANは、アウトオブサンプルの不確実性(すなわち、データ生成分布と大幅に異なる画像の部分)を捕えることができる。そのような不確実性の尺度と画像特徴との関連付けは、視覚的特徴(例えば、関連付けられた不確実性の尺度の言葉による記述を有する画像のオーバーレイ)が画像特徴に関連付けされ得るようにする。このことは(例えば、モデルが比較的確信していない画像特徴を識別することによって)モデル結果の簡素で速い評価を容易にする。
医用画像に関して医学レポートに含まれる説明を用いて、使用されるGAN及びBDLネットワークはトレーニングされる。例えば、BDLネットワークは医師にとって重要な画像特徴を検出するためにトレーニングされるが、GANは、特徴の各組合せに関係した例を生成することができるようにトレーニングされる。そのようなネットワークは従来の機械学習及び/又は画像処理技術を使用して構築され、これにより、履歴データ及び/又は確立された知識に影響を及ぼして、提案された複数の実施形態により提供される決定の精度を改善する。
複数の実施形態が、画像特徴についての不確実性の推定を提供する。また、(例えば、GAN及びBDLネットワークが様々の種類の不確実性を捕えるので、)GAN及びBDLネットワークのうちのどれが画像特徴を不確実であると識別するかということから情報が推論される。
複数の実施形態が、例えば、対象者のための医用画像解析を改善するために有用である。そのような対象者は、例えば、身体障害者、高齢者、怪我人、患者等を含む。ここで、高齢者とは、例えば、50歳超え、65歳超え、70歳超え、又は、80歳超えの人を意味することができる。
例示的な実施形態が多くの異なる種類の医用撮像装置及び/又は(例えば、病院、病棟、研究所等のような)医用撮像施設において利用される。
例えば、画像機能識別及び評価は、画像解析モデルでなされる判断を理解する、及び/又は、評価するために有用である。提案された実施形態を用いて、ユーザは、例えば、モデルの出力に最も関連する画像特徴を識別する。
更に、スキャンが進行中の間に検出された画像特徴に関するリアルタイム情報を技術者に提供するために、複数の実施形態が医用撮像システムに統合される。そのような情報を用いて、技術者は、モデルの出力及び/又は判断を検査して、必要に応じて、対象者がまだスキャナ・テーブルの上にある間にモデルを適応させるか、又は、変更する。こうして、対象者は再スキャンのために医用撮像設備を再訪問する必要はない。
提案された実施形態は、画像解析モデルから不確実な判断又は出力を識別する。それから、そのような判断/出力に焦点が置かれ、及び/又は、(例えば、画像及び/又は対象者と関連した医用文書からの学習を通して)改善される。
例示的な実施形態の要素及び機能性の説明のための設定を提供するために、例示的な実施形態の態様がどのように実現されるかの例として、ここに図面が提供されている。したがって、図面は、単なる例であって、その中で本発明の複数の態様又は実施形態が実現される環境、システム、又は、方法に関して何らの制限も主張又は意味することを意図しないものと理解されるべきである。
本発明の複数の実施形態は、(例えば、医用スキャンのような)医用画像中の画像特徴(例えば、結節、テクスチャー等)が識別され、潜在的に分類され得るようにすることを対象とする。このことは、(例えば、医用画像解析モデルで作られる不確実な判断又は出力を識別することによって)医用画像解析モデルを評価し、改善するために有用である。
複数の実施形態では、従来のGAN及びBDLネットワークを使用して、モデルの出力に関連する画像特徴を識別する。トレーニング・データ(例えば、履歴データ、先に確立した結果、及び/又は、診療記録もしくは文書からの従前の観察結果)に基づいて、不確実性の尺度は画像特徴又はサブ領域と関連付けられ、したがって、(例えば、モデルが比較的確信していない画像特徴/領域に集中することによって)ユーザがモデルの結果/判断を素早く評価することができるようにする。これにより、誤った又は不正確な画像解析判断の数を減らして、改善された医用画像解析を提供することを助ける。したがって、複数の実施形態は、リアルタイム医用スキャン評価の目的に対して、例えば、ある画像解析モデルが特定の対象者及び/又は医用スキャン・プロセスに相応しいかどうかを評価するために有用である。
画像特徴は、既に存在する医用撮像装置及びシステムによって作られる医用画像から、検出され、又は、分類される。したがって、提案された複数のコンセプトは、(例えば、CT、PET/CT、及び/又は、MRIスキャンのために使用されるもののような)既存の医用撮像システム/方法と共に使用される。そのような医用撮像方法/システムの多くが知られており、それらのうちの任意の1又は複数を使用するので、そのような方法/システムの詳細な説明は本明細書では省略する。
図1は、1つの実施形態による対象者の医用撮像における特徴識別のためのシステム100の1つの実施形態を示す。
システム100は、医用画像10を獲得するように適応されたインターフェース・コンポーネント110を備える。ここでは、インターフェース・コンポーネント110は、医用撮像装置115(例えば、MRI装置)から医用画像10を受け取るように適応されている。
医用画像10は、有線又は無線接続を介してインターフェース・コンポーネント110に伝えられる。一例として、無線接続は短中距離通信リンクを備える。誤解を避けるため、短中距離通信リンクとは、最大約100メートルの到達距離の短距離又は中距離通信リンクを意味すると解釈される。非常に短い通信距離のために設計された短距離通信リンクでは、信号は典型的には2、3センチメートルから数メートルまで伝わるが、短い通信距離から中間の通信距離のために設計された中距離通信リンクでは、信号は典型的には100メートルまで伝わる。短距離無線通信リンクの例は、ANT+、ブルートゥース(登録商標)、ブルートゥース(登録商標)ローエネルギー、IEEE802.15.4、ISA100a、Infrared(IrDA)、近距離無線通信(NFC)、RFID、6LoWPAN、UWB、Wireless HART、Wireless HD、Wireless USB、ZigBeeである。中距離通信リンクの例は、Wi−Fi、ISM Band、Z−Waveを含む。ここでは、出力信号は、安全な仕方での有線又は無線接続を介しての通信のために暗号化はされない。しかし、他の複数の実施形態においては、1又は複数の暗号化技術及び/又は1又は複数の安全な通信リンクがシステムにおける信号/データの通信のために使用されることは理解されるであろう。
更に、システム100は、医用画像10を処理して、医用画像10の第1のサブ領域に位置する着目する第1の画像特徴を決定するように構成されたベイジアン・ディープラーニング(BDL)ネットワーク120を備える。BDLネットワーク120は、更に、第1の画像特徴と関連付けられた不確実性値を決定するように構成される。
BDLネットワーク120は、ネットワークのパラメータが固定されず、(例えば、ガウス分布、ベルヌーイ分布等のような)特定の確率分布に従うという意味において標準的ディープラーニング・ネットワークと異なる。このことは、モデル・トレーニング・プロセスの間に、アルゴリズムが単に最適固定パラメータ値を学習するのではなく、むしろネットワーク・パラメータの確率分布(例えば、ガウス分布の平均値と分散)を学習することを意味する。したがって、BDLネットワーク120と標準的なディープラーニング・ネットワークとの違いは、以下の通りにまとめられる。
トレーニング中には、標準的なディープラーニングにおいては、損失関数を最適化する複数の最適ネットワーク・パラメータ値を識別するが、ベイジアン・ディープラーニングにおいては、損失関数を最適化する複数の最適ネットワーク・パラメータ分布を識別する。
推論中には、標準的なディープラーニングにおいては、学習した複数のネットワーク・パラメータ値を出力を計算するために用いるが、ベイジアン・ディープラーニングにおいては、学習した複数のネットワーク・パラメータ分布からサンプリングして、ネットワーク出力の分布を計算する。
BDLによってネットワーク出力の分布を生成することができるので、出力の分散はモデルの不確実性を推定するために用いられ、より高い出力の分散がより高い不確実性と関連付けられる。
システム100は、医用画像を処理して、医用画像の第1のサブ領域中の着目する第2の画像特徴を決定するように適応される敵対的生成ネットワーク(GAN)122を更に備える。GAN122は、更に、着目する第2の画像特徴と関連付けられた不確実性値を決定するように構成される。
GANは、原則として、2つのコンポーネントを有する。第1のコンポーネントは、入力として乱数シード(すなわち、ガウス確率変数のベクトル)をとり、入力データ生成分布と非常に類似することを目指す画像を生成するジェネレータである。第2のコンポーネントは、ジェネレータの出力と入力データからの複数の画像例とを入力としてとり、それらを(本物又は偽物の)2つのクラスに分類するディスクリミネータである。トレーニング・プロセス中に、ジェネレータはディスクリミネータを「騙」そう(すなわち、それを偽物の画像を本物であると分類させよう)とする。そして、ディスクリミネータは偽物の画像であることを正しく識別することによってジェネレータを「打ち負か」そうとする。マシン・ラーニング文献のうちの最近の論文によれば、GANアプローチを用いて非常に強力なジェネレータをトレーニングすることができるようになった。
この目的のために、システム100のGAN122は、インターネット又は「クラウド」50で利用できる1又は複数のデータ処理リソースと通信する。そのようなデータ処理リソースは、着目する第2の画像特徴、及び/又は、関連付けられた不確実性値を決定するために要求される処理の一部又は全体を引き受ける。
第1及び着目する第2の画像特徴及びそれらの関連付けられた不確実性値に関する情報は、システム110の分類コンポーネント124に提供される。分類コンポーネント124は、第1及び第2の画像特徴とそれらの関連付けられた不確実性値に基づいて医用画像の第1のサブ領域を分類するように適応される。
より詳しくは、この例示的な実施形態において、分類コンポーネント124は、第1及び第2の画像特徴と関連付けられた不確実性値に基づいて、第1及び第2の画像特徴が不確実かどうかを決定するように適応される。それから、分類コンポーネント124は、第1及び第2の画像特徴のうちどれが不確実であると決定されるかに基づいて画像10の第1のサブ領域を分類する。
また、この目的のために、動き分類コンポーネント124は、インターネット又は「クラウド」50で利用できる1又は複数のデータ処理リソースと通信する。そのようなデータ処理リソースは、分類を決定するために要求される処理の一部又は全体を引き受ける。
このように、この実施形態が分散処理の原理を使用することは理解されるであろう。
更に、データ処理システム110は、画像10の第1のサブ領域の決定された分類を示す出力信号130を生成するように適応される。言い換えると、(インターネット又は「クラウド」を介してデータ処理リソースと通信しても、又は、しなくても)画像10の第1のサブ領域を分類した後に、決定された分類を示す出力信号130が生成される。
更に、システムは、1又は複数のユーザに情報を提供するためのグラフィカル・ユーザ・インタフェース(GUI)160を備える。出力信号130は、有線又は無線接続を介してGUI160に提供される。一例として、無線接続は短中距離通信リンクを備える。図1に示されるように、出力信号130はデータ処理ユニット110からGUI160に提供される。しかし、システムがインターネット又はクラウド50によってデータ処理リソースを使用した場合、出力信号はインターネット又はクラウド50によってGUI160に利用可能にされる。
出力信号130に基づいて、GUI160は、GUI160の表示領域で1又は複数のグラフィック要素を表示することによって情報を伝達するように適応される。このように、システムは、1つのサブ領域が複数の画像特徴及びサブ領域に関連付けられた確実性のレベルを有するかどうかを示すために有用である、画像10のサブ領域についての情報を伝達する。例えば、GUI160は、医師、放射線科医、MRI装置のオペレータ、又は、MRI技術者等に対してグラフィック要素を表示するために用いられる。その代わりに、又は、それに加えて、GUI160は対象者に対してグラフィック要素を表示するように適応される。
図1の実施形態の上記の説明から、対象者のMRIスキャンのサブ領域と関連付けられた不確実性のレベルを識別するためのシステムが提案されることが理解されるであろう。ここでは、スキャンは対象者の撮像されたボリューム(例えば、3次元セグメント又は部分)を有し、ボリュームの中心軸に沿って互いからずらされている(各々のMRIスライス画像が中心軸に対して垂直な平面にある)複数の平行なMRIスライス画像から作られるものとする。
したがって、画像サブ領域と関連付けられた不確実性値に基づいて、閾値を上回る、関連付けられた不確実性レベルを有するMRI画像特徴が識別される。このように、不十分な(例えば、許容できる量が満たされていない)関連付けられた確実性を有するMRI画像特徴は識別される。したがって、スキャン画像中の不確実な特徴の位置は識別され、更なる画像解析がどこで必要とされるかをはっきりさせることを更に助ける。
更なる例として、閾値は前に決定された画像特徴に関した履歴データに基づいて決定され(例えば、計算され)る。このように、過度の不確実性と許容できる不確実性とを区別するための閾値は、正確さ又はユーザビリティの改善のために改良又は改善される。
上で詳述された図1の実施形態はMRIスキャンに関して記述されているが、提案された複数のコンセプトがCTスキャン、PETスキャン等のような他の医用スキャン方式にまで広げられることは理解されるであろう。
更に、上記の説明から、GAN及びBDLネットワークが時間と共にパフォーマンス及び/又は正確さが改善するようにトレーニングされることが理解されるであろう。
一例として、BDL120は以下のようにトレーニングされ得る。
(i)一連の接続された層によって組み立てられるニューラルネットワークを、これらの層のウエートが確率分布に従うようにして定める。このネットワークは2つの出力を有し、1つの出力はクラス・ラベル(例えば、肺癌検診使用事例における、スピキュラ状で/小葉に分かれた結節)に対応し、他の出力は、入力画像と同じサイズを有する、マトリックス(2次元画像入力の場合)又は3次元立方体(3次元画像入力の場合)である。この第2の出力は、クラス・ラベル計算のために画像ピクセルの関連性を捕える。この出力の複数の要素は、また、トレーニング・プロセス中に学習される確率分布に従う。
(ii)トレーニングの間、ネットワークは複数のネットワーク・パラメータのための複数の確率分布を学習し、今度は損失関数を最適化する出力の要素のための確率分布を推測する。損失関数は、クラス・ラベル(例えば、肺がん検診で放射線科医のレポートから抽出される結節特性)に基づく。
(iii)推論の間、ネットワークは学習した複数のパラメータ分布からサンプリングして、(例えば、肺がん検診例で結節がスピキュラ状であるという)クラス予測出力と、更に、入力画像の出力に対するピクセルレベルの関連性とを生成する。上記の例が分布からのサンプリングであるので、クラス・ラベル出力及びピクセルレベル関連性の値の両方が分布を有し、これらの値の分散は(出力における高い分散が低い信頼性と解釈される)不確実性の表現として使用され得る。
更なる例として、GAN122は以下のようにトレーニングされ得る。
(i)GANは、例えば、クラス・ラベルを条件にする。それから、ジェネレータ及びディスクリミネータのネットワークの両方がベイズ的であり得る(すなわち、それらのパラメータは確率分布であり得る)。しかし、他の1つの例においては、GAN122はラベル不確実性を条件にすることができる(すなわち、ジェネレータは入力として、クラス・ラベル及び不確実性値の両方をとることができ、したがって、2つのクラスの間でより多くのボーダーラインケースを生成するようにトレーニングされ得る)。
(ii)GANがトレーニングされた後、クラス・ラベルを条件にする乱数シードがラベル不確実性と共に使用され得る。現実的に見える画像(例えば、肺がん検診の実施形態においては現実的に見える結節)を生成する。
分類するべき画像を提供されるとき、トレーニングされたGANによって生み出され得る最も類似した画像が識別され得る。それから、入力画像とGANから生成され得る最も類似した画像とのピクセル的な違いを計算することができる。それから、高いピクセル的な違いを有し、(例えば、分散閾値を使う)BDLでは不確実なピクセルの一部でない画像部分は、仕様外であるとして特徴付けられ得る。
ここで図2を参照すると、対象者の医用撮像における特徴識別のための方法200のフローチャートが示されている。そのような技術は、このようにして、医用画像中の特徴を識別するために使用される。
図2において、ステップ210は対象者の医用画像を受け取ることを含む。このことは、例えば、離れて位置する(例えば、CT又はMRIスキャナのような)撮像装置から医用画像を受け取ることを含む。したがって、本方法では、撮像装置がその場にあっても離れて位置しても、撮像装置によって生成された医用画像を用いて実行されることは理解されるであろう。
ステップ220は、(画像の第1のサブ領域に位置する)着目する第1の画像特徴及び関連付けられた不確実性値を決定するためにBDLネットワークによって上記医用画像を処理することを含む。同様に、ステップ230は、上記医用画像の第1のサブ領域中の着目する第2の画像特徴及び関連付けられた不確実性値を決定するためにGANによって上記医用画像を処理することを含む。ステップ220及び230は、別々に実行され、(幾つかの実施形態においては)並行して実行される。しかし、他の実施形態においては、ステップ220及び230は順次実行され、ステップ220がステップ230の前に実行される(又は、逆でもよい)ことは理解されるであろう。しかし、基本原理は、画像は、2つの異なるアプローチを用いて画像特徴及び関連付けられた不確実性の尺度を識別するように、BDLネットワーク及びGANによって処理されるということである。
ステップ220及び230からの結果はステップ240に提供され、ステップ240では、上記画像の第1のサブ領域は第1及び第2の画像特徴及びそれらの関連付けられた不確実性値に基づいて分類される。一例として、この実施形態のステップ240は、以下のステップ:第1及び第2の画像特徴が不確実であるかどうかを、第1及び第2の画像特徴に関連付けられた不確実性値に基づいて決定するステップ242、そして、第1及び第2の画像特徴のうちどれが不確実であると決定されるかに基づいて、上記画像の第1のサブ領域を分類するステップ244を含む。
例えば、第1及び第2の画像特徴の両方が不確実であると決定されるならば、第1のサブ領域は第1のカテゴリに属すると分類される。反対に、第1の画像特徴のみが不確実であると決定されると、第1のサブ領域は第2のカテゴリに属すると分類され、そして、第2の画像特徴のみが不確実であると決定されると、第1のサブ領域は第3のカテゴリに属すると分類される。ここで、第1及び第2の画像特徴が不確実であるかどうかを決定するステップは、第1及び第2の画像特徴に関連付けられた不確実性値を閾値と比較することを含む。
図2の例示的な実施形態は、第1及び第2の画像特徴と関連付けられた不確実性値に基づいて上記画像のサブ領域のために不確実性値を決定するステップ250を更に含む。このように、サブ領域の不確実性の簡素な表現が生成され得、サブ領域と関連付けられ得る。これにより、ユーザは、医用画像のために画像解析モデルの判断又は出力を分析することに関してサブ領域の重要性及び/又は関連性を迅速かつ容易に識別し評価し得るようになる。
更に、図2の実施形態は、ネットワークをトレーニングする付加的ステップ260を含む。例えば、図2の例示的な実施形態のステップ260は、複数の医学文書によってBDLネットワークをトレーニングし、1又は複数の医学文書によって記載される複数の特徴に基づいて複数の画像特徴を生成するようにGANをトレーニングすることを含む。ここでは、医学レポート及び/又は患者診療記録が使用され、そこから、ラベルが抽出され、ネットワークをトレーニングするために使用される。
ここで、図3を参照すると、1つの実施形態が低線量CTを用いた肺がん検診の状況で示されている。この状況において、モデル・トレーニングは、スキャン評価及び結節特性に関する情報を含む放射線科医のレポート310と共に画像データ(低線量CT)を用いて実行される。
放射線科医のレポート310は、1つの提案された実施形態によってシステム320に提供される。システム320に提供されるCT画像325中の(例えば、スピキュラ、部分充実等の)様々な結節特性を識別し分類する目的で、結節の説明は放射線科医報告から抽出され、BDLネットワーク及びGANをトレーニングするために用いられる。システム320のBDLネットワーク及びGANは、様々の識別された特徴(例えば、ハイライトされラベル付けされた領域)と関連付けられた不確実性の尺度を決定するように適応される。
一例として、部分充実結節の識別のためのCT画像325の第1のバージョン330においてシステム320は画像特徴を識別する。高い不確実性を有するそのような(ラベル335のボックスで示されるような)画像特徴は、それらが観察者に容易に識別可能になるように、(例えば、医用画像の上にオーバーレイされた視覚的特徴を用いて)ハイライトされラベル付けされる。同様に、推測された腫瘤の識別のためのCT画像325の第2のバージョン340においてシステム320は画像特徴を識別する。また、高い不確実性を有するそのような(ラベル345のボックスで示されるような)画像特徴は、それらが観察者に容易に識別可能になるように、ハイライトされラベル付けされる。
BDLアプローチは、特徴分類に関するボーダーラインケースに関係する不確実性を捕える。しかし、我々のトレーニング・サンプルの一部でなかったデータ(例えば、異なるベンダーからの、又は、低い画質を有する)に関係する不確実性を捕えるために、GANが使用される(そして、これはトレーニング・データを用いて最適化される)。
トレーニングされたGANは、トレーニング・データの一部でありそうにないCT画像325の領域の識別を可能にする。したがって、これは、BDLにより提供される不確実性と共に使用され得る、異なる尺度の不確実性を提供する。例えば、それは、トレーニング・データの一部でなかった構造(又は、雑音)を含むCT画像325の部分についての情報を提供する。
したがって、複数の実施形態が、上記医用画像に関係する(又は、関連付けられた)1又は複数の医学レポートにより提供された説明を使用してトレーニングされたGAN及びBDLネットワークを組み合わせて用いることに基づくものであることは理解されるであろう。BDLネットワークは第1の種類の画像特徴を検出するようにトレーニングされるが、GANは、第2の異なる種類の画像特徴を識別し得るようにトレーニングされる。そのようなネットワークは、従来の機械学習及び/又は画像処理技術を使用して構築され、履歴データ及び/又は確立された知識に影響を及ぼして、複数の提案された実施形態により提供される決定の精度を改善する。
ここで、図4を参照すると、本発明によるシステムの他の1つの実施形態が示されている。この実施形態は、対象者のあるボリュームをスキャンして、スキャンされたボリュームの複数のCT画像スライスを生成するように適応されたCTスキャン・システム410を備える。ここで、CTスキャン・システム410は、例えば、CTスキャン/撮像設備で使用するために利用できる従来のCTスキャン・システム410を含む。
CTスキャン・システム410は、(例えば、有線又は無線接続を用いて)インターネット420によって、対象者の医用撮像における特徴識別のための遠隔の(例えば、サーバのような)データ処理システム430へ取得したCT画像スライスを示す出力信号を伝達する。
データ処理システム430は、CTスキャン・システム410から(例えば、CT画像スライス・データとして)1又は複数の出力信号を受け取るように適応されている。
データ処理システム430は、画像特徴及びそれらの関連付けられた不確実性値を識別するために、提案された実施形態による方法に従ってCTスキャン・システム出力信号を処理する。より詳細には、上記方法は、BDLネットワークによってCT画像スライスを処理して、画像の第1のサブ領域に位置している着目する第1の画像特徴及び関連付けられた不確実性値を決定し、GANによってCT画像スライスを処理して、画像の第1のサブ領域内の着目する第2の画像特徴及び関連付けられた不確実性値を決定する。第1及び第2の画像特徴及びそれらの関連付けられた不確実性値に基づいて、データ処理システム430はCT画像スライスの第1のサブ領域を分類する。
データ処理システム430は、更に、CT画像スライスの第1のサブ領域の分類を示す出力信号を生成するように適応される。このように、データ処理システム430は、CTシステムから情報を受け取ることができ、1又は複数のアルゴリズムを実行して、対象者のCT画像中の画像特徴を識別し、分類することができる、中心的にアクセス可能な処理リソースを提供する。画像サブ領域の分類に関する情報は、(例えば、データベース内の)データ処理システムに格納され得、システムの他のコンポーネントへ提供され得る。画像サブ領域に関する情報のそのような提供は、(例えば、インターネット420を介して)要求を受信することに応じて開始され、及び/又は、(例えば、「プッシュされた(pushed)」のような)要求無しで開始される。
データ処理システムから画像サブ領域分類に関する情報を受け取る目的で、そして、このようにCT画像が分析され、又は、評価され得るようにするために、システムは第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450を更に備える。
ここで、第1のモバイル・コンピュータ440は、画像サブ領域分類を示すグラフィック要素を表示するためのディスプレイを有する(例えば、スマートフォンのような)モバイル電話装置である。第2のモバイル・コンピュータ450は、CTスキャンの間に検出された対象者の動きを示すグラフィック要素を表示するためのディスプレイを有する、ラップトップ又はタブレット・コンピュータのような、モバイル・コンピュータである。
データ処理システム430は、(例えば、有線又は無線接続を用いて)インターネット420を介して第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450へ出力信号を伝達するように適応される。上記のように、このことは、第1のモバイル・コンピュータ440又は第2のモバイル・コンピュータ450から要求を受け取ることに応じて開始される。
受信した出力信号に基づいて、第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450は、それぞれのディスプレイにより提供される表示領域で1又は複数のグラフィック要素を表示するように適応される。この目的のために、第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450は、各々、グラフィック要素をどのように表示するかを決定するために、受信した出力信号を処理し、復号し、及び/又は、解釈するためのソフトウェアアプリケーションを備える。このように、第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450は、各々、画像サブ領域分類を示す1又は複数の値に適合させられ、グラフィック要素のサイズ、形、位置、方向、パルセーション、又は、色の少なくとも1つを変更するための表示制御信号を画像サブ領域分類に基づいて生成するように適応された処理用構成を備える。
したがって、システムは、CTスキャンにおける特徴に関する情報を第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450のユーザへ伝達することができる。例えば、第1のモバイル・コンピュータ440及び第2のモバイル・コンピュータ450の各々は、医師、放射線科医、又は、対象者に対してグラフィック要素を表示するために用いられる。
図4のシステムの実施形態は以下の状態(i)及び状態(ii)の間で変わる。(i)データ処理システム430が直ぐに表示可能なデータを伝達する状況。直ぐに表示可能なデータは、例えば、従来の画像又は(ウェブ・ベースのブラウザ等であり得る)ウェブ・ページ表示を使用するモバイル・コンピュータのユーザに対して単純に表示される(例えば、JPEG又は他の画像フォーマットの)グラフィック要素を含む表示データを含む。(ii)データ処理システム430が生データセットの情報を伝達する状況。この情報を受け取るモバイル・コンピュータが、(例えば、モバイル・コンピュータ上で実行されるローカル・ソフトウェアを使用して)この情報を処理し、画像特徴を識別し、関連付けられた不確実性値を決定し、画像サブ領域の分類に基づいてグラフィック要素を表示する。もちろん、他の実施形態においては、以下のように、処理はデータ処理システム430と受け取るモバイル・コンピュータとで分担される。すなわち、データ処理システム430で生成されたデータの一部がモバイル・コンピュータの局所的な専用ソフトウェアによる更なる処理のためにモバイル・コンピュータへ送られる。したがって、実施形態では、サーバ側処理、クライアント側処理、又は、その如何なる組合せでも使用する。
更に、データ処理システム430が情報(例えば、出力信号)を「プッシュ」せず、むしろ、要求を受けることに応じて情報を伝達する場合は、そのような要求をする装置のユーザは、情報が伝達されるために、彼らの身分証明及び/又はセキュリティ認証情報を確認又は認証することを要求される場合がある。
図5は、実施形態の1又は複数の部分が使用されるコンピュータ500の例を示す。上述の様々の動作は、コンピュータ500の能力を利用する。例えば、画像サブ領域を分類するシステムの1又は複数の部分は、ここに議論される任意の要素、モジュール、アプリケーション、及び/又は、コンポーネントに組み込まれる。
コンピュータ500は、PC、ワークステーション、ラップトップ、PDA、パーム装置、サーバ、記憶装置等を含むが、これに限定されるものではない。通常、ハードウェアアーキテクチャに関しては、コンピュータ500は、局所インターフェース(図示せず)を介して通信で連結される、1又は複数のプロセッサ510、メモリ520、及び、1又は複数の入出力装置570を備える。当該分野において知られているように、局所インターフェースは、例えば、1又は複数のバス又は他の有線もしくは無線接続であり得るが、それらに限定されるものではない。通信を可能にするために、局所インターフェースは、例えば、コントローラ、バッファ(キャッシュ)、ドライバ、リピータ、及び、レシーバのような付加的な要素を有する。更に、局所インターフェースは、上記のコンポーネントの間で適切な通信を可能にするために、アドレス、コントロール、及び/又は、データ接続を有する。
プロセッサ510は、メモリ520に格納され得るソフトウェアを実行するためのハードウェア装置である。プロセッサ510は実質的に、任意のオーダーメード及び/又は市販のプロセッサ、中央演算処理装置(CPU)、デジタルシグナルプロセッサ(DSP)、又は、コンピュータ500と関連した幾つかのプロセッサの間の補助プロセッサでもあり得る。そして、プロセッサ510は(マイクロチップの形の)半導体ベースのマイクロプロセッサ又は1つのマイクロプロセッサであり得る。
メモリ520は、揮発性記憶素子(例えば、ダイナミック・ランダム・アクセス・メモリ(DRAM)、スタティック・ランダム・アクセス・メモリ(SRAM)等のようなランダム・アクセス・メモリ(RAM))及び不揮発性記憶素子(例えば、ROM、消去可能な書込み可能読出し専用メモリ(EPROM)、電子的に消去可能な書込み可能読出し専用メモリ(EEPROM(登録商標))、書込み可能読出し専用メモリ(PROM)、テープ、コンパクト・ディスク読取り専用メモリ(CD−ROM)、ディスク、ディスケット、カートリッジ、カセット、又は、その種の他のもの)うちの任意の1つ又は組合せを含むことができる。更に、メモリ520には電子的、磁気的、光学的、及び/又は、他の種類の記憶媒体を組み込むことができる。メモリ520は分散アーキテクチャを有することができることに注意すべきである。ここで、様々なコンポーネントは互いに離れているが、プロセッサ510によってアクセスされ得る。
メモリ520のソフトウェアは1又は複数の別々のプログラムを含む。そして、各プログラムは論理機能を実現するための実行可能命令の順序付けられたリストを含む。メモリ520のソフトウェアは、例示的な実施形態に従って、適当なオペレーティングシステム(O/S)550、コンパイラ540、ソースコード530、及び、1又は複数のアプリケーション560を含む。例示されるように、アプリケーション560は、例示的な実施形態の特徴と動作を実行するために多数の機能コンポーネントを含む。コンピュータ500のアプリケーション560は、例示的な実施形態に従って様々なアプリケーション、計算ユニット、論理回路、機能ユニット、プロセス、オペレーション、仮想実体、及び/又は、モジュールを意味する場合があるが、アプリケーション560は限定であることを意味しない。
オペレーティングシステム550は、他のコンピュータ・プログラムの実行をコントロールし、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに、通信制御及び関連サービスを提供する。例示的な実施形態を実行するためのアプリケーション560は、全ての市販のオペレーティングシステム上で適用可能であることが意図されている。
アプリケーション560は、実行される一組の命令を含むソースプログラム、実行可能プログラム(オブジェクトコード)、スクリプト、又は、他の任意の実体である。ソースプログラムの場合、そのプログラムは通常、プログラムがO/S550と連携して適切に動作するように、コンパイラ(例えば、コンパイラ540)、アセンブラ、インタプリタ、又はその種の他のものによって翻訳される。上記コンパイラ等はメモリ520中に含まれる場合も、含まれない場合もある。更にまた、アプリケーション560は、オブジェクト指向プログラミング言語又は手続き型プログラミング言語で記述され得る。オブジェクト指向プログラミング言語は、データのクラス及びメソッドを有する。手続き型プログラミング言語は、ルーチン、サブルーチン、及び/又は、関数を有する。プログラミング言語としては、例えば、C、C++、C♯、Pascal、BASIC、APIコール、HTML、XHTML、XML、php、Python、ASPスクリプト、FORTRAN、COBOL、Perl、Java(登録商標)、ADA、.NET等が挙げられるが、これらに限定されるものではない。
入出力装置570は入力装置を含む。入力装置は、例えば、マウス、キーボード、スキャナ、マイク、カメラ等を含むが、これらに限定されるものではない。更に、入出力装置570は出力装置を含む。出力装置は、例えば、プリンタ、ディスプレイ等を含むが、これらに限定されるものではない。最後に、入出力装置570は、入力及び出力の両方を伝達する装置を更に含む。これらの伝達する装置は、例えば、(遠隔装置、他のファイル、装置、システム、又は、ネットワークにアクセスするための)NIC又は変調装置/復調装置、ラジオ周波数(RF)等のトランシーバ、電話インターフェース、ブリッジ、ルータ等が挙げられるが、これらに限定されるものではない。更に、入出力装置570は、例えば、インターネット又はイントラネットのような様々のネットワークを介して通信するためのコンポーネントを含む。
コンピュータ500がPC、ワークステーション、インテリジェント装置等であるならば、メモリ520内のソフトウェアは基本入出力システム(BIOS)(単純さのために省略)を更に備える。BIOSは、起動時にハードウェアを初期化して、テストし、O/S550を起動し、ハードウェア装置間のデータ転送をサポートする一組の重要なソフトウェア・ルーチンである。コンピュータ500が作動するときBIOSが実行され得るように、BIOSは数種類の読取り専用メモリ(例えば、ROM、PROM、EPROM、EEPROM(登録商標)等)に格納される。
コンピュータ500が運転中であるとき、プロセッサ510は,ソフトウェアに従って、メモリ520に格納されるソフトウェアを実行して、メモリ520との間でデータを伝達し、全般にコンピュータ500の動作をコントロールするように構成される。アプリケーション560及びO/S550は、全体的又は部分的に、プロセッサ510により読み出されて、場合によりプロセッサ510の範囲内でバッファされ、実行される。
アプリケーション560がソフトウェアで実現されるときは、アプリケーション560が、任意のコンピュータ関連のシステム又は方法による使用のため、又は、それに関連する使用のために、実質的に任意の、コンピュータで読取り可能な媒体に格納され得る点に留意する必要がある。この明細書の文脈では、コンピュータで読取り可能な媒体は、コンピュータ関連のシステム又は方法による使用のため、又は、それに関連する使用のために、コンピュータ・プログラムを含むか又は格納することができる、電子的、磁気的、光学的、又は、他の物理的装置又は手段である。
アプリケーション560は、例えば、コンピュータによるシステム、プロセッサを備えるシステム等の、命令実行システム、装置、又は、デバイスから命令をフェッチし、これらの命令を実行し得るシステムのような、命令実行システム、装置、又は、デバイスによる使用のため、又は、それに関連する使用のために、任意のコンピュータで読取り可能な媒体において具体的な形で記録され得る。この明細書の文脈では、「コンピュータで読取り可能な媒体」は、命令実行システム、装置、又は、デバイスによる使用のため、又は、それに関連する使用のために、プログラムを格納する、伝達する、伝播する、又は、運搬することができる任意の手段であり得る。コンピュータで読取り可能な媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線の、又は、半導体の、システム、装置、デバイス、又は、伝搬媒体であり得るが、これらに限定されるものではない。
本発明は、システム、方法、及び/又は、コンピュータ・プログラム・プロダクトである。コンピュータ・プログラム・プロダクトは、プロセッサに本発明の態様を実行させるために、コンピュータで読取り可能なプログラム命令をその上に含む1又は複数のコンピュータで読取り可能な記憶媒体を備える。
コンピュータで読取り可能な記憶媒体は、命令実行装置による使用のために命令を保持及び格納することができる有形の装置であり得る。コンピュータで読取り可能な記憶媒体は、例えば、電子的記憶装置、磁気的記憶装置、光学的記憶装置、電磁的記憶装置、半導体記憶装置、又は、これらの任意の適当な組合せであるが、これらに限定されるものではない。コンピュータで読取り可能な記憶媒体のより具体的な例の非網羅的リストは以下のものを含む。ポータブルコンピュータ・ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能な書込み可能読出し専用メモリ(EPROM又はフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクト・ディスク読取り専用メモリ(CD−ROM)、デジタル・バーサタイル・ディスク(DVD)、メモリ・スティック、フロッピーディスク、(例えば、穿孔カード、又は、命令をその上に記録しておく溝内の高くした構造のような)機械的に符号化された装置、或いは、これらの任意の適当な組合せ。ここで用いられるとき、コンピュータで読取り可能な記憶媒体は、例えば、ラジオ波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通って伝搬する電磁波(例えば、光ファイバーケーブルを通る光パルス)、又は、ワイヤを通って伝送される電気信号のような、それ自体一時的な信号であるものとして意味されるものではない。
ここに記述されるコンピュータで読取り可能なプログラム命令は、コンピュータで読取り可能な記憶媒体から、それぞれのコンピューティング/処理装置にダウンロードされ得、或いは、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び/又は、ワイヤレス・ネットワークのようなネットワークを介して、外部コンピュータ又は外部記憶装置にダウンロードされ得る。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び/又は、エッジサーバを有する。各コンピューティング/処理装置のネットワーク・アダプタ・カード又はネットワークインターフェースは、ネットワークからコンピュータで読取り可能なプログラム命令を受け取り、これらコンピュータで読取り可能なプログラム命令をそれぞれのコンピューティング/処理装置内のコンピュータで読取り可能な記憶媒体に格納するために送る。
本発明の動作を実行するためのコンピュータで読取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、ステート・セッティング・データ、或いは、1又は複数のプログラミング言語の任意の組合せで書き込まれるソースコードでもオブジェクトコードでもあり得る。プログラミング言語は、Java(登録商標)、Smalltalk(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び、例えば、「C」プログラミング言語又は同様のプログラミング言語のような、埋め込み実装のために最適化された従来の手続きプログラミング言語を含む。コンピュータで読取り可能なプログラム命令は、スタンドアロン・ソフトウェアパッケージとして、ユーザのコンピュータ上で完全に又は部分的に実行されても、ユーザのコンピュータ及びリモートコンピュータでそれぞれ部分的に実行されても、或いは、完全にリモートコンピュータ又はサーバで実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカル・エリア・ネットワーク(LAN)又は広域ネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよいが、或いは、この接続は、例えば、インターネット・サービス・プロバイダを用いたインターネットを介して外部コンピュータに対してなされてもよい。幾つかの実施形態において、本発明の態様を実行するために、例えば、プログラマブル・ロジック回路、フィールドプログラマブルゲートアレイ(FPGA)、又は、プログラマブル・ロジック・アレイ(PLA)を含む電子回路が、コンピュータで読取り可能なプログラム命令の状態情報を利用して当該電子回路をパーソナライズすることによって、コンピュータで読取り可能なプログラム命令を実行する。
本発明の態様は、本発明の実施形態によって、方法、装置(システム)、及び、コンピュータ・プログラム・プロダクトのフローチャート例、及び/又は、ブロック図を参照してここに記述されている。フローチャート例及び/又はブロック図の各ブロック、並びに、フローチャート例及び/又はブロック図中のブロックの組合せは、コンピュータで読取り可能なプログラム命令によって実施され得ることが理解されるであろう。
これらのコンピュータで読取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、又は、他のプログラム可能なデータ処理装置のプロセッサに提供され、これらのコンピュータ、又は、他のプログラム可能なデータ処理装置のプロセッサによって実行されるこれらの命令が、フローチャート及び/又はブロック図の1又は複数のブロックに指定された機能/動作を実施するための手段を作成するようなマシンを作る。また、これらのコンピュータで読取り可能なプログラム命令は、コンピュータで読取り可能な記憶媒体に格納される。このコンピュータで読取り可能な記憶媒体は、その中に命令を有するコンピュータで読取り可能な記憶媒体がフローチャート及び/又はブロック図の1又は複数のブロックに指定された機能/動作面を実施する命令を含む製品を構成するようにして、コンピュータ、プログラム可能なデータ処理装置、及び/又は、他の装置が特定の仕方で機能するようにさせる。
更に、コンピュータで読取り可能なプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は、他の装置へロードされ、これらのコンピュータ、他のプログラム可能なデータ処理装置、又は、他の装置上で一連の動作ステップを実行させて、これらのコンピュータ、他のプログラム可能な装置、又は、他の装置上で実行される命令が、フローチャート及び/又はブロック図の1又は複数のブロックに指定された機能/動作を実施するように、コンピュータによって実施されるプロセスを生成する。
図面中のフローチャート及びブロック図は、本発明の様々の実施形態による、システム、方法、及び、コンピュータ・プログラム・プロダクトの可能な実施のアーキテクチャ、機能、及び、動作を例示する。この点については、フローチャート又はブロック図中の各ブロックは、命令の、モジュール、セグメント、又は、部分を表現する。これらのモジュール、セグメント、又は、部分は、指定された論理機能を実現するための1又は複数の実行可能な命令を含む。幾つかの他の実施において、ブロックに記された機能は、図面に記された順序に従わずに発生する場合がある。例えば、関係する機能性によっては、連続して示される2つのブロックは、実際、実質的に並行して実行される場合もあり、或いは、時にはブロックが逆順で実行される場合もある。ブロック図及び/又はフローチャート例の各ブロック、並びに、ブロック図及び/又はフローチャート例の複数のブロックの組合せが、指定された機能又は動作を実行するか、又は、特殊目的ハードウェアとコンピュータ命令との組合せを実行する特殊目的ハードウェア・ベースのシステムによって実施され得る点に更に注意する。
上述の説明から、複数の実施形態が、対象者の医用画像中の特徴を識別し分類するために有用であることは理解されるであろう。したがって、提案された実施形態は、広範囲にわたる医用撮像コンセプト/分野に適用される。例えば、複数の実施形態が肺がん検診及びカルシウム・スコアリングに有用である。そこでは、対象者の医用画像は対象者を調査、及び/又は、評価するために用いられる。そのような場合のために、医療専門家(例えば、放射線科医)のためにモデル出力を説明するか、又は、補う、不確実性に関するピクセルレベルの情報が提供され得る。
本明細書は、例示及び説明のために提供されるものであって、網羅的であることも、本発明を記述された形態に限定することも意図しない。当業者にとっては多くの変更及び変形が明らかであろう。提案された複数の実施形態、実際的応用の原理を最も良く説明するために、そして、他の当業者が、様々の変更による様々の実施形態が考えられることを理解できるようにするために、複数の実施形態が選ばれ、記述された。

Claims (15)

  1. ベイジアン・ディープラーニング・ネットワークによって医用画像を処理し、前記医用画像の第1のサブ領域に位置している着目する第1の画像特徴、及び、関連付けられた不確実性値を決定するステップと、
    敵対的生成ネットワークによって前記医用画像を処理し、前記医用画像の前記第1のサブ領域内の着目する第2の画像特徴、及び、関連付けられた不確実性値を決定するステップと、
    前記第1の画像特徴、前記第2の画像特徴、及び、それらの関連付けられた前記不確実性値に基づいて、前記医用画像の前記第1のサブ領域を分類するステップと
    を有する、対象者の医用撮像における特徴識別のための方法。
  2. 前記分類するステップが、
    前記第1の画像特徴及び前記第2の画像特徴に関連付けられた前記不確実性値に基づいて、前記第1の画像特徴及び前記第2の画像特徴が不確実かどうかを決定するステップと、
    前記第1の画像特徴及び前記第2の画像特徴のうちのどれが不確実であると決定されるかに基づいて、前記医用画像の前記第1のサブ領域を分類するステップと
    を有する、請求項1に記載の方法。
  3. 前記分類するステップが、
    前記第1の画像特徴及び前記第2の画像特徴の両方が不確実であると決定されると、前記第1のサブ領域を第1のカテゴリに属すると分類するステップ
    を有する、請求項2に記載の方法。
  4. 前記分類するステップが、
    前記第1の画像特徴のみが不確実であると決定されると、前記第1のサブ領域を第2のカテゴリに属すると分類するステップと、
    前記第2の画像特徴のみが不確実であると決定されると、前記第1のサブ領域を第3のカテゴリに属すると分類するステップと
    を有する、請求項2又は3に記載の方法。
  5. 前記第1の画像特徴及び前記第2の画像特徴が不確実かどうかを決定するステップが、
    前記第1の画像特徴及び前記第2の画像特徴に関連付けられた前記不確実性値を閾値と比較するステップ
    を有する、請求項2から5のいずれか一項に記載の方法。
  6. 前記第1の画像特徴及び前記第2の画像特徴に関連付けられた前記不確実性値に基づいて、前記医用画像のサブ領域に対する不確実性値を決定するステップ
    を更に有する、請求項1から5のいずれか一項に記載の方法。
  7. 複数の医学文書を用いて前記ベイジアン・ディープラーニング・ネットワークをトレーニングするステップ
    を更に有する、請求項1から6のいずれか一項に記載の方法。
  8. 1又は複数の医学文書に記載される複数の特徴に基づいて複数の画像特徴を生成するように前記敵対的生成ネットワークをトレーニングするステップ
    を更に有する、請求項1から7のいずれか一項に記載の方法。
  9. 着目する前記第1の画像特徴と関連付けられた前記不確実性値が、サンプルサイズ及び偶然性の不確実性のうちの少なくとも1つに関して不確実性の尺度を有し、
    着目する前記第2の画像特徴と関連付けられた前記不確実性値は前記医用画像のデータ分布に関して不確実性の尺度を有する、
    請求項1から8のいずれか一項に記載の方法。
  10. 対象者の医用撮像における特徴識別のためのコンピュータ・プログラムプロダクトであって、前記コンピュータ・プログラムプロダクトは、コンピュータで読取り可能な具現化されたプログラムコードを含むコンピュータで読取り可能な記憶媒体を備え、前記コンピュータで読取り可能なプログラムコードは、少なくとも1つのプロセッサで実行されるとき、請求項1から8のいずれか一項に記載のステップの全てを実行するように構成される、対象者の医用撮像における特徴識別のためのコンピュータ・プログラムプロダクト。
  11. 少なくとも1つのプロセッサと請求項10に記載のコンピュータ・プログラムプロダクトとを含む、システム。
  12. 医用画像の第1のサブ領域に位置する着目する第1の画像特徴及び関連付けられた不確実性値を決定するために前記医用画像を処理するベイジアン・ディープラーニング・ネットワークと、
    前記医用画像の前記第1のサブ領域内の着目する第2の画像特徴及び関連付けられた不確実性値を決定するために前記医用画像を処理する敵対的生成ネットワークと、
    第1の画像特徴、第2の画像特徴、及び、それらの関連付けられた前記不確実性値に基づいて、前記医用画像の前記第1のサブ領域を分類する分類コンポーネントと
    を備える、対象者の医用撮像における特徴識別のためのシステム。
  13. 前記分類コンポーネントは、
    前記第1の画像特徴及び前記第2の画像特徴に関連付けられた前記不確実性値に基づいて、前記第1の画像特徴及び前記第2の画像特徴が不確実かどうかを決定し、
    前記第1の画像特徴及び前記第2の画像特徴のうちのどれが不確実であると決定されるかに基づいて、前記医用画像の前記第1のサブ領域を分類する、
    請求項12に記載のシステム。
  14. 前記第1の画像特徴及び前記第2の画像特徴に関連付けられた前記不確実性値に基づいて、前記医用画像のサブ領域のための不確実性値を決定する、不確実性コンポーネント を更に備える、請求項12又は13に記載のシステム。
  15. 複数の医学文書を用いて前記ベイジアン・ディープラーニング・ネットワークをトレーニングする第1のトレーニング・コンポーネントと、
    1又は複数の医学文書に記載される複数の特徴に基づいて複数の画像特徴を生成するように前記敵対的生成ネットワークをトレーニングする第2のトレーニング・コンポーネントと
    のうちの少なくとも1つを更に備える、請求項12から14のいずれか一項に記載のシステム。
JP2019213909A 2018-11-29 2019-11-27 医用撮像における特徴識別 Active JP7449077B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18209197.5A EP3660741B1 (en) 2018-11-29 2018-11-29 Feature identification in medical imaging
EP18209197.5 2018-11-29

Publications (2)

Publication Number Publication Date
JP2020091862A true JP2020091862A (ja) 2020-06-11
JP7449077B2 JP7449077B2 (ja) 2024-03-13

Family

ID=64559563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019213909A Active JP7449077B2 (ja) 2018-11-29 2019-11-27 医用撮像における特徴識別

Country Status (5)

Country Link
US (1) US11301995B2 (ja)
EP (1) EP3660741B1 (ja)
JP (1) JP7449077B2 (ja)
CN (1) CN111243711B (ja)
RU (1) RU2019138158A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138277A1 (ja) 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275976B2 (en) * 2019-04-05 2022-03-15 Siemens Healthcare Gmbh Medical image assessment with classification uncertainty
US11507778B2 (en) * 2020-01-27 2022-11-22 Fujifilm Business Innovation Corp. System and method for automated learning from sensors
DE102020207324A1 (de) * 2020-06-12 2021-12-16 Robert Bosch Gesellschaft mit beschränkter Haftung Plausibilisierung der Ausgabe eines Bildklassifikators mit einem Generator für abgewandelte Bilder

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US8131033B2 (en) * 2007-07-25 2012-03-06 Sectra Ab Sensitivity lens for assessing uncertainty in image visualizations of data sets, related methods and computer products
WO2010035163A1 (en) * 2008-09-29 2010-04-01 Koninklijke Philips Electronics, N.V. Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN101609451A (zh) * 2009-07-10 2009-12-23 南方医科大学 基于医学图像模糊区域特征归类识别的相关反馈测度方法
US8705831B2 (en) * 2009-09-24 2014-04-22 Koninklijke Philips N.V. System and method for generating an image of a region of interest
CN101706956A (zh) * 2009-11-06 2010-05-12 上海第二工业大学 一种利用多点地质统计法重构图像统计信息的方法
CN103226582B (zh) * 2013-04-08 2016-08-03 哈尔滨工程大学 一种基于不确定定点图的医学图像检索方法
CN103268498B (zh) * 2013-04-21 2016-06-29 郑州轻工业学院 一种感兴趣区域模糊图像语义理解的方法
EP2878338B1 (en) * 2013-11-28 2018-04-11 RaySearch Laboratories AB Method and system for uncertainty based radiotherapy treatment planning
CN103617435B (zh) * 2013-12-16 2017-01-25 苏州大学 一种主动学习图像分类方法和系统
KR101725478B1 (ko) * 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
CN105701509B (zh) * 2016-01-13 2019-03-12 清华大学 一种基于跨类别迁移主动学习的图像分类方法
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US10108845B2 (en) 2017-03-02 2018-10-23 Hong Kong Applied Science and Technology Research Institute Company Limited Anomaly detection for medical samples under multiple settings
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN108537773B (zh) * 2018-02-11 2022-06-17 中国科学院苏州生物医学工程技术研究所 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法
US11011257B2 (en) * 2018-11-21 2021-05-18 Enlitic, Inc. Multi-label heat map display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138277A1 (ja) 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置

Also Published As

Publication number Publication date
EP3660741A1 (en) 2020-06-03
US20200175677A1 (en) 2020-06-04
CN111243711A (zh) 2020-06-05
EP3660741B1 (en) 2022-05-04
RU2019138158A (ru) 2021-05-26
US11301995B2 (en) 2022-04-12
RU2019138158A3 (ja) 2021-08-20
CN111243711B (zh) 2024-02-20
JP7449077B2 (ja) 2024-03-13

Similar Documents

Publication Publication Date Title
JP7449077B2 (ja) 医用撮像における特徴識別
US10810735B2 (en) Method and apparatus for analyzing medical image
US10755411B2 (en) Method and apparatus for annotating medical image
US10265040B2 (en) Method and apparatus for adaptive computer-aided diagnosis
CN107644419A (zh) 用于分析医学影像的方法和装置
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
CN111696083B (zh) 一种图像处理方法、装置、电子设备及存储介质
EP3528179A1 (en) Training a neural network
US10130323B2 (en) Method and apparatus for planning computer-aided diagnosis
JP2021532454A (ja) 生物医学画像内の異常を検出するためのノックアウト・オートエンコーダ
US20210398650A1 (en) Medical imaging characteristic detection, workflows, and ai model management
CN108509888B (zh) 用于生成信息的方法和装置
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN115862831B (zh) 一种智能在线预约诊疗管理系统及方法
WO2021126562A1 (en) Systems and methods for processing electronic images for health monitoring and forecasting
Kilim et al. Physical imaging parameter variation drives domain shift
KR101941209B1 (ko) 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법
US11880432B2 (en) Confidence measure for a deployed machine learning model
CN113360611A (zh) 基于检查结果的ai诊断方法、装置、存储介质和设备
US11164309B2 (en) Image analysis and annotation
KR102222816B1 (ko) 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치
US11501451B2 (en) Detecting subject motion in medical imaging
JP2020190913A (ja) 読影支援装置および読影支援方法
CN117409273A (zh) 基于数据扩增的识别模型的优化方法、设备及介质
EA044868B1 (ru) Устройство и способ для определения патологии на основе анализа медицинских изображений

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240301

R150 Certificate of patent or registration of utility model

Ref document number: 7449077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150