JP2020171687A - 3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法 - Google Patents

3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法 Download PDF

Info

Publication number
JP2020171687A
JP2020171687A JP2020062003A JP2020062003A JP2020171687A JP 2020171687 A JP2020171687 A JP 2020171687A JP 2020062003 A JP2020062003 A JP 2020062003A JP 2020062003 A JP2020062003 A JP 2020062003A JP 2020171687 A JP2020171687 A JP 2020171687A
Authority
JP
Japan
Prior art keywords
anatomical
images
image
scale
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020062003A
Other languages
English (en)
Inventor
アミット オヴェド
Oved Amit
アミット オヴェド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanox AI Ltd
Original Assignee
Zebra Medical Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Medical Vision Ltd filed Critical Zebra Medical Vision Ltd
Publication of JP2020171687A publication Critical patent/JP2020171687A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

【課題】解剖学的関心領域を自動で切りだす。【解決手段】対象の解剖学的関心領域(ROI)を位置特定するコンピュータによって実施される方法、3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を均一にサブサンプリングすること、複数のサンプリングされた2D画像を分類器に供給して正規化された解剖学的スケール上の複数の値を出力すること、複数の値および対応する連続的なインデックス番号に線形モデルをフィットさせること、線形モデルで複数の2D画像を正規化された解剖学的スケールにマッピングすることと、対象の少なくとも1つの対象の解剖学的関心領域の指示情報を受信すること、解剖学的関心領域が正規化された解剖学的スケールにマッピングされること、複数の2D画像のうち受信された対象の解剖学的関心領域に対応する正規化された解剖学的スケールの値を有するサブセットを提供することを含む方法。【選択図】なし

Description

本発明は、そのいくつかの実施形態においては、3D解剖学的撮影に関し、より詳細には、これに限定されないが、3D解剖学的ボリュームの2Dスライスを位置特定することに関する。
本出願は、米国特許出願第16/382,235号(出願日:2019年4月12日)の優先権の利益を主張し、この文書の内容はその全体が参照により本明細書に組み込まれている。
最も広く使用されている撮影技術の1つは、例えば非特許文献1を参照して説明されるようにコンピュータ断層撮影(CT)スキャンである。CTスキャンデータは、2D撮像モダリティとは異なり、3次元であり、一般には数百枚、場合によっては数千枚の2D画像(スライスとも称される)からなる。放射線医師は、解剖学的関心領域(anatomical region of interest)を含むスライスのサブセットを識別する目的で、多数のスライスを手作業で再検討することがある。解剖学的関心領域を見つけるための自動的な方法としては、多数のスライスを分析して、解剖学的関心領域に関連付けられる定義済みの特徴(例:手作業での特徴)を抽出し、これら定義済みの特徴に基づいて解剖学的関心領域を自動的に切り出す。
OECD. Health at a Glance 2017. 2017 Daniel Keysers Henning Schubert Berthold B. Wein Joerg Bredno Thomas Martin Lehmann Mark Oliver Gueld, Michael Kohnen. Quality of dicom header information for image categorization. Proc.SPIE, 4685:4685 - 4685 - 8, 2002 Franz Graf, Hans-Peter Kriegel, Sebastian Polsterl, Matthias Schubert, and Alexander Cavallaro. Position prediction in ct volume scans. In Proceedings of the 28th International Conference on Machine Learning (ICML) Workshop on Learning for Global Challenges, Bellevue, Washington, WA, 2011 Franz Graf, Hans-Peter Kriegel, Matthias Schubert, Sebastian Plsterl, and Alexander Cavallaro. 2d image registration in ct images using radial image descriptors. volume 14, pages 607-14, 09 2011 Jiajia Guo, Hongwei Du, Bensheng Qiu, and Xiao Liang. A deep learning-based method for relative location prediction in CT scan images. CoRR, abs/1711.07624, 2017 Tobias Emrich, Franz Graf, Hans-Peter Kriegel, Matthias Schubert, Marisa Thoma, and Alexander Cavallaro. Ct slice localization via instance-based regression. In Medical Imaging: Image Processing, 2010 Johannes Feulner, S. Kevin Zhou, Sascha Seifert, Alexander Cavallaro, Joachim Hornegger, and Dorin Comaniciu. Estimating the body portion of ct volumes by matching histograms of visual words. Proceedings of SPIE - The International Society for Optical Engineering, 02 2009 Martin A. Fischler and Robert C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM, 24(6):381-395, June 1981
第1の態様によれば、対象の個人の対象の解剖学的関心領域(ROI)を位置特定する、コンピュータによって実施される方法は、3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を、均一にサブサンプリングするステップと、複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力するステップと、これら複数の値および対応する連続的なインデックス番号に、線形モデルをフィットさせるステップと、この線形モデルによって、複数の2D画像を正規化された解剖学的スケールにマッピングするステップと、対象の個人の少なくとも1つの対象の解剖学的関心領域の指示情報を受信するステップであって、各対象の解剖学的関心領域が、正規化された解剖学的スケールにマッピングされる、ステップと、複数の2D画像のうち、受信された少なくとも1つの対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有するサブセット、を提供するステップと、を含む。
第2の態様によれば、対象の個人の対象の解剖学的関心領域(ROI)を位置特定するシステムは、少なくとも1つのハードウェアプロセッサであって、以下、すなわち、3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を、均一にサブサンプリングするステップと、複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力するステップと、これら複数の値および対応する連続的なインデックス番号に、線形モデルをフィットさせるステップと、この線形モデルによって、複数の2D画像を正規化された解剖学的スケールにマッピングするステップと、対象の個人の少なくとも1つの対象の解剖学的関心領域(ROI)の指示情報を受信するステップであって、各対象の解剖学的関心領域が正規化された解剖学的スケールにマッピングされる、ステップと、複数の2D画像のうち、受信された少なくとも1つの対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有するサブセット、を提供するステップと、のためのコード、を実行する少なくとも1つのハードウェアプロセッサ、を備えている。
第3の態様によれば、対象の個人の対象の解剖学的関心領域(ROI)を位置特定するためのコンピュータプログラム製品は、少なくとも1つのハードウェアプロセッサによって実行するためのコードを格納している非一過性のメモリ、を備えており、コードが、以下、すなわち、3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を均一にサブサンプリングするステップと、複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力するステップと、これら複数の値および対応する連続的なインデックス番号に線形モデルをフィットさせるステップと、この線形モデルによって、複数の2D画像を正規化された解剖学的スケールにマッピングするステップと、対象の個人の少なくとも1つの対象の解剖学的関心領域(ROI)の指示情報を受信するステップであって、各対象の解剖学的関心領域が正規化された解剖学的スケールにマッピングされる、ステップと、複数の2D画像のうち、受信された少なくとも1つの対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有するサブセット、を提供するステップと、のための命令、を含む。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、特定の対象の解剖学的関心領域に対応する値を有する、複数の2D画像のそれぞれのサブセット、の分析に従って、患者の治療を計画するステップ、をさらに含む。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、特定の対象の解剖学的関心領域を分析するように設計されているコンピュータ支援診断(CAD)アプリケーションを、特定の対象の解剖学的関心領域に対応する値を有する、複数の2D画像のそれぞれのサブセット、に対して実行するステップ、をさらに含む。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、正規化された解剖学的スケールは、任意の人体の軸方向次元(axial dimension)に沿った複数の等間隔位置の1次元座標系、を備えている。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、分類器は、複数のサンプリングされた2D画像それぞれを、複数の分類カテゴリのうちの少なくとも1つの分類カテゴリに分類し、この場合、複数の分類カテゴリは、正規化された解剖学的スケールに沿った複数の等間隔の値に対応する。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、分類器は、入力された2D画像と計算された値との間のマッピングの信頼度を示すマッピング信頼度スコア(mapping confidence score)を計算し、マッピング信頼度スコアが拒否要件に従うとき、計算された値を拒否する。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、拒否要件は、1枚の2D画像に対する複数のピーク確率を持つベクトル、を含む。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、マッピング信頼度スコアが単一かつ狭い確率ベクトルを含むとき、2D画像が保持される。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、サンプリングされた2D画像それぞれの元のピクセル値が、分類器に入力される。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、複数の2D画像の総数は、約100〜2000枚であり、均一なサブサンプリングが、約10〜50枚の連続する2D画像ごとに1枚の2D画像を選択することによって実行され、サンプリングされた2D画像の数が約20〜50枚である。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、正規化された解剖学的スケールは、0から99を範囲とする連続する値の範囲であり、頭頂の正規化された位置が0に設定され、足の最下部が99に設定される。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、3D解剖学的ボリュームはCTスキャンであり、複数の2D画像は、CTスキャンのアキシャルスライスである。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、複数の2D画像は、3D解剖学的ボリュームに関連付けられるDICOM(登録商標)メタデータとは独立して、正規化された解剖学的スケールのそれぞれの値にマッピングされる。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、分類器は、複数のサンプル患者の3D解剖学的ボリュームの訓練データセットに従って訓練されており、この場合、各3D解剖学的ボリュームの複数の2D画像が、以下のプロセスによって計算される、正規化された解剖学的スケール上の値でラベル付けされ、このプロセスは、上側2D画像(superior 2D image)および下側2D画像(inferior 2D image)のそれぞれを、それぞれの描写されている定義済みの解剖学的ランドマークに対応する値でラベル付けし、上側2D画像と下側2D画像との間の2D画像を、上側2D画像の値と下側2D画像の値の線形補間によって計算される値でラベル付けする。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、定義済みの解剖学的ランドマークおよび対応する値は、頭頂および0、側脳室および10.9、舌骨および12.6、上側胸骨(superior sternum)および18.9、竜骨および21.1、下側心臓(inferior heart)および28.0、第十二肋骨末端および36.6、上側骨盤骨(superior pelvic bone)および40.0、小転子および51.4、膝蓋骨および71.4、下側足部(inferior feet)および100.0、からなる群から選択される。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、それぞれのサンプリングされた2D画像の複数の値および対応する連続的なインデックス番号への線形モデルのフィットのフィットスコア(fitting score)を計算するステップであって、フィットスコアのフィットスコア要件が、値の計算におけるエラーを定義している、ステップと、フィットスコアが拒否要件を満たしているときに3D解剖学的ボリュームを拒否するステップと、をさらに含む。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、線形モデルは、強い外れ値を有するノイズの多いデータにフィットするように選択される。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、線形モデルは、RANSAC(Random Sample Consensus)プロセスに基づく。
第1の態様、第2の態様、および第3の態様のさらなる実装形態においては、信頼性がない結果を定義する一連の規則が満たされるときに、3D解剖学的ボリュームを、さらなる処理から除外するように評価するステップであって、一連の規則が、線形モデルに対して計算されるフィットスコアと、サンプリングされた2D画像のサブセットに対して分類器によって計算される確率ベクトルとに基づく、ステップ、をさらに含む。
特に定義しない限り、本明細書で使用するすべての技術および/または科学用語は、本発明が属する技術分野の当業者により通常理解されるものと同じ意味を有する。本明細書に記載のものと同様のまたは等価な方法および材料を、本発明の実施形態の実践または試験に使用することができるが、例示的な方法および/または材料を下記に記載する。矛盾する場合、定義を含む特許明細書が優先する。加えて、材料、方法、および実施例は単なる例示であり、必ずしも限定を意図するものではない。
本発明のいくつかの実施形態について、その例示のみを目的として添付の図面を参照して本明細書に記載する。以下、特に図面を詳細に参照して示す細部は、例示を目的とし、また本発明の実施形態の詳細な説明を目的とすることを強調する。同様に、図面と共に説明を見ることで、本発明の実施形態をどのように実践し得るかが当業者には明らかとなる。
本発明のいくつかの実施形態による技術的解決策の理解を助ける目的で、CTスキャンの概略的な画像と、従来の方法(すべてのスライスが他のスライスとは独立して位置特定されていた)を使用してスキャンを位置特定した結果を描いたグラフとを含む。 本発明のいくつかの実施形態による、3Dボリュームの2D画像の入力に応えて、正規化されたスケール上の値を出力する分類器と、出力された値および2D画像の連続的なインデックス番号にフィットさせた線形モデルとに基づいて、対象の個人の対象の解剖学的関心領域(ROI)を位置特定するシステムのブロック図である。 本発明のいくつかの実施形態による、3Dボリュームの2D画像の入力に応えて、正規化されたスケール上の値を出力する分類器と、出力された値および2D画像の連続的なインデックス番号にフィットさせた線形モデルとに基づいて、対象の個人の対象の解剖学的関心領域(ROI)を位置特定する方法の流れ図である。 本発明のいくつかの実施形態による、入力された2D画像を、正規化された解剖学的スケールの値にマッピングする分類器のCNN 402の実装の例示的なアーキテクチャの概略図である。 本発明のいくつかの実施形態による、訓練された分類器によって計算された、実験的な評価の検証セット全体におけるグランドトゥルースラベルに対する予測されたラベルをプロットしたグラフである。 本発明のいくつかの実施形態による、スライスの例と、実験的な評価用に訓練された分類器によって計算された分類されたクラスの対応する確率とを描いたグラフを含む。 CTスキャンのいくつかの例と、本発明のいくつかの実施形態による、実験的な評価用にRNASACベースの線形モデルにフィットさせた、30枚の等間隔のサンプリングされたスライスの対応する位置特定を描いたグラフとを含む。 CTスキャンのいくつかの例と、本発明のいくつかの実施形態による、実験的な評価用にRNASACベースの線形モデルにフィットさせた、30枚の等間隔のサンプリングされたスライスの対応する位置特定を描いたグラフとを含む。 CTスキャンのいくつかの例と、本発明のいくつかの実施形態による、実験的な評価用にRNASACベースの線形モデルにフィットさせた、30枚の等間隔のサンプリングされたスライスの対応する位置特定を描いたグラフとを含む。 本発明のいくつかの実施形態による、実験的な評価の一部として計算された、特定の椎骨の位置の位置特定値の一連のヒストグラムである。 本発明のいくつかの実施形態による、コンピュータによる評価の開発された除外基準を使用して評価された最も頻度の高い60箇所の部位における成功/失敗の比率のプロットである。
本発明は、そのいくつかの実施形態においては、3D解剖学的撮影に関し、より詳細には、これに限定されないが、3D解剖学的ボリュームの2Dスライスを位置特定することに関する。
本明細書において使用されているとき、用語「3D解剖学的ボリューム」および「3D解剖学的画像(または3D画像)」は、互いに置き換えることができる。3D解剖学的ボリュームおよび/または3D解剖学的画像は、例えば、3D撮像モダリティ装置による出力(例えば、CT装置によるCTスキャン、MRI装置によるMRIスキャン、3D超音波装置による3D超音波スキャン、核医学撮像装置による核医学撮像スキャン)を含む。
本発明のいくつかの実施形態の一態様は、対象の個人の対象の解剖学的関心領域(ROI)を位置特定するシステム、方法、装置、および/またはコード命令に関する。3D解剖学的ボリューム内の連続するインデックス番号を有する2D画像を、均一にサブサンプリングする。例えば、3D CTスキャン(またはMRIスキャン、または核医学撮像スキャン、または3D解剖学的ボリュームを作成する他の撮像モダリティのスキャン)の2Dスライスのサブセットを、均一に(例えば5番目のスライスごとに、または他の値ごとに)選択する。サンプリングされた2D画像を分類器に供給し、正規化された解剖学的スケール上の値を出力する。正規化された解剖学的スケールは、例えば、身体の最下点(例:足の裏)に設定される下側値(例:0または他の値)と、身体の最上点(例:頭頂)に設定される最高値(例:99または他の値)とによって、定義される。分類器は、正規化された解剖学的スケールの値に対応する複数の候補の分類カテゴリから1つの分類カテゴリ(例えば、正規化された解剖学的スケールの値に対応する0〜99から1つの値)を出力するように訓練することができる。各それぞれのサンプリングされた画像に対して分類器によって出力された値、およびそれぞれのサンプリングされた画像の対応する連続的なインデックス番号に、線形モデルをフィットさせる。線形モデルは、2D画像のインデックス番号と、正規化された解剖学的スケール上の値との間のマッピングとしての役割を果たす。2D画像(サンプリングされていない画像を含む)を、線形モデルによって、正規化された解剖学的スケールにマッピングする。対象の個人の1つ(または複数)の対象の解剖学的関心領域の指示情報を、例えば、目的のコンピュータ支援診断(CAD)アプリケーションの設計に従って、および/または、使用者のマニュアル入力に従って、受信する。候補の解剖学的関心領域は、正規化された解剖学的スケールへの事前定義されたマッピングを有してもよく、例えば、特定の器官がスケール上の事前定義される位置にある。2D画像のうち、受信した対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有する、1枚または複数のサブセットを提供する。
オプションとして、残りの2D画像(すなわち、受信された対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有する2D画像のサブセット以外)は、提供しない(例えば、無視する、および/または除外する)。
オプションとして、2D画像のセットを、対象の解剖学的関心領域を分析するように設計されているCADアプリケーションに供給する。例えば、肝臓を分析するCADアプリケーションに、CTスキャンの2Dスライスのうち肝臓を描写しているサブセットを供給する。残りの2D画像は、このCADアプリケーションに供給しない。
オプションとして、患者の治療を、2Dスライスのサブセットの分析に従って計画する。治療は、マニュアル操作で計画する、および/または、コードによって自動的に計画することができる。例えば、脊椎の特定の椎骨の治療を、例えば、その特定の椎骨を描写している2Dスライスのサブセットを使用して、手術計画アプリケーションによって計画する。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、患者の同じ3D解剖学的ボリュームに対して複数のコンピュータ支援診断(CAD)アプリケーションおよび/または複数の医療アプリケーション(例:外科治療、手術のシミュレーション)を実行する能力を改良することによって、患者の医学的治療を改善する。各3Dボリュームを複数の異なるCADアプリケーションによって分析して、複数の異なる医学的状態の示唆を検出することができる。検出される複数の異なる医学的状態に基づいて、患者の治療を計画することができる。本明細書に説明されているように、各3Dボリュームは極めて大きく、CADアプリケーションによって画像を処理することは計算負荷が高いため、各患者の各3Dボリュームを各CADアプリケーションによって処理することは、既存の資源を使用して可能ではないことがある。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態(各CADアプリケーションに関連する、3Dボリュームの2D画像を、高い計算効率で識別して取得する)では、必要な計算資源が大幅に低減され、これにより各3Dボリュームの2D画像を各CADアプリケーションによって処理することが可能になる。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、同じ3D解剖学的ボリューム(例:CTスキャン)に対して複数のCADアプリケーション(および/または画像の解剖学的部分を処理する他のアプリケーション(手術計画アプリケーションなど))を実行するという技術的な課題に対処する。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、同じ3D解剖学的ボリュームに対して複数のCADアプリケーションを実行することを可能にすることによって、CADアプリケーションの技術分野を改善する。CADアプリケーションは、例えば、さまざまなモダリティおよび/または撮影技術において解剖学的構造、病状、および/または異常を、自動的に測定する、検出する、および/または分類するためのツールを含む。3D解剖学的ボリューム内の大量の撮影データ、および/または、3D解剖学的ボリューム内で識別される可能性のある膨大な数の視覚的所見、を処理するときに、放射線医師を支援する目的でCADシステムの使用が増えており、したがってCADシステムは放射線医学の作業手順に組み込まれつつある。CADアプリケーションによって使用できるように3D解剖学的ボリュームを処理することは、1枚の2D画像よりも大幅に長い処理時間がかかり、なぜなら3D解剖学的ボリュームは、数百枚ないし数千枚のオーダーのスライス(例:数メガバイトのデータ)を含むためである。CADアプリケーションは、通常では機械学習プロセスに基づいており、機械学習プロセスは、実行するのに相当な量の処理資源(例:プロセッサの利用、メモリ、データストレージ)を使用する、および/または、実行するのに相当な時間がかかる。同じ3D解剖学的ボリュームに対して複数の異なるCADアプリケーションが実行されるときには、この問題は特に解決が難しい。このような場合、処理する計算装置(例:PACSサーバ、放射線ワークステーション、クライアント端末)における計算負荷は相当に大きく、処理に極めて長い時間がかかる、および/または計算資源を占有し、このことが別の機能に影響しうる(例えば、撮影サーバにアクセスする別の放射線医師が画像を見るときに遅延が生じる、または画像を見ることが困難になる)。定期的に多数の3Dボリュームを生成する大型の撮影設備においては、計算装置は、各3Dボリュームに対してすべてのCADアプリケーションを実行することができない、または著しい時間遅延が生じうる。3Dボリューム(例:CTスキャン)を処理するCADアプリケーションのほとんどは、解剖学的関心領域(例:器官)を分析する前に最初にその関心領域を位置特定するのに相当な計算資源および/または処理時間を消費する。例えば、肝臓障害の検出プロセスでは、肝臓を含むサブボリュームに対して障害検出を実際に適用する前に、最初に3D撮影ボリューム全体をスキャンして肝臓を位置特定する必要がある。このような肝臓障害検出プロセスは、本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態によって、3D解剖学的ボリューム(例:CTスキャン)全体ではなく解剖学的関心領域を含むサブボリュームが提供されるときには、より迅速に、および/または、より少ない計算資源を使用して、実行される。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、DICOM(登録商標)メタデータ(または3Dボリューム自体に関連付けられる他の対応するメタデータ)を使用することなく、高い計算効率で、3D解剖学的ボリューム内で解剖学的関心領域を識別するという技術的課題に対処する。DICOM(登録商標)メタデータは、スキャン内にカバーされている(1つまたは複数の)解剖学的領域を示す情報を提供するが、このメタデータはエラーが起こりやすく、また、器官に固有なCADアプリケーションによって要求される必要な粒度レベルを提供しない(例えば非特許文献2を参照して説明される)。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、3D解剖学的ボリュームのスライスを、DICOM(登録商標)メタデータとは独立して、このメタデータを考慮することなく直接処理する。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、3D解剖学的ボリューム内の(1つまたは複数の)対象の解剖学的関心領域を識別するという技術的課題に対処する。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、例えば、必要な資源(例:プロセッサの利用、メモリ、データストレージ)を低減する、および/または、処理時間を短縮することによって、(1つまたは複数の)対象の解剖学的関心領域を識別する計算装置の計算効率を改善する。この改善は、本明細書に説明されている計算効率の前処理段階によって可能になり、この前処理段階では、3D解剖学的ボリュームの各スライスを、本明細書に説明されている正規化された解剖学的スケールによって表される人体の軸方向次元に沿った、それぞれのスライスの位置を表す一意の数にマッピングする。ボリューム全体がインデックス化されると、CADアプリケーションそれぞれの解剖学的関心領域に基づいて、3Dボリュームのさまざまなサブボリュームを異なるCADアプリケーションに提供することができる。3Dボリューム(例:CTスキャン)の各スライスを、対応する軸方向の解剖学的位置にマッピングするプロセスは、極めて迅速である(例:本発明者らによって行われた実験に基づくと、PCでは、スライスの数にかかわらずCTスキャンあたり約1秒)。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、対象の関心領域に対応する3Dボリュームの2D画像を位置特定するという技術的課題に、幅広いスキャン領域(プロトコル)をサポートし、かつ強いノイズレベルおよびアーチファクトに対してロバストであるプロセスを使用して対処する。本明細書に説明されているプロセス(入力された画像の分類カテゴリ(オプションとして正確さの可能性を示す確率値が関連付けられる)を出力する訓練された分類器と、出力された値および2D画像のインデックス番号にフィットさせた線形モデルとに基づく)は、3Dボリュームに身体のどの部位が描写されているかにかかわらず、および/または、どのスキャンプロトコルが使用されたか(例:コントラスト、非コントラストなど)にかかわらず、ノイズ(アーチファクト)に対してロバストである。この改善は、少なくとも、分類器が、幅広いスキャン領域、プロトコル、ノイズ、および/またはアーチファクトを含む訓練データセットで訓練されることと、線形モデルが、外れ値に対してロバストであるプロセス(例:RANSAC)を使用してフィットされることによる。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、3D解剖学的ボリューム(例:CTスキャン)のすべての2D画像(すなわちスライス)を身体の解剖学的位置に特定するという技術的課題に対処する。特に、この技術的課題は、他の方法との比較において相対的に低減した計算資源の利用および/または相対的に短縮された処理時間において、高い計算効率で、各スライスの位置特定を実行することに関連する。上述したように、CTスキャンのスライスの位置特定を使用して、解剖学的関心領域を描写しているスライスを選択することができる。次に、選択されたスライスを、例えば、解剖学的関心領域を処理するように設計されている専用のCADアプリケーションに入力する、および/または、放射線医師が手操作で読み取ることができるようにディスプレイ上に提示することができる(例えば放射線医師が、解剖学的関心領域を描写しているスライスを探す手間が省かれる)。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態によって提供される技術的解決策は、正規化された解剖学的スケールの等間隔の区間の数(例:100)に対応する複数の異なる分類クラスに分類するという課題に基づく。本明細書に説明されている訓練された分類器(例えば畳み込みニューラルネットワーク(CNN))は、入力として2Dスライスを受け取り、1つまたは複数の分類クラスの指示情報(オプションとして、その2Dスライスが、対応する分類クラスにマッピングされている可能性を示す確率値が関連付けられる)を出力する。訓練された分類器は、回帰手法に基づいてCTスライスを特定するように試みる別の従来の方法によって提供される解決策(例えば、非特許文献3、非特許文献4、および非特許文献5を参照して説明される)とは異なる。他の従来の方法に優る、訓練された分類器の利点として、分類カテゴリに対して分類器によって計算される確率値は、位置特定の信頼性の測度を提供する。それぞれのスライスが1つまたは複数の分類カテゴリに分類されている可能性を示すこのような確率値(本明細書に説明されている訓練された分類器の少なくともいくつかの実装形態によって計算される)は、回帰など他の従来の方法によっては計算されない。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、画像処理、特に、3D解剖学的ボリュームの2Dスライス(例:CTスキャンのスライス)を分析してすべてのスライスを身体の解剖学的位置に特定するプロセスの技術分野、を改善する。この位置特定(2Dスライスのサンプリングされたサブセットを分類し、位置特定されたサンプリングされたスライスのサブセットに線形モデルをフィットさせることに基づく)は、他の方法(例えば各スライスを独立して一度に1枚ずつ位置特定する方法)との比較において、相対的に高い精度、および/またはノイズに対する相対的に高いロバスト性、および/または処理資源の相対的に少ない利用、および/または相対的に短い処理時間で、行われる。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、3D解剖学的ボリュームの2D画像(例:CTスキャンのスライス)を位置特定し、3D解剖学的ボリュームは、数百枚または場合によっては数千枚のスライス(例えば約100〜2000枚のスライス、または別の値)を含みうる。オプションとして、3Dボリュームのすべての2Dスライスを位置特定する。
本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態によって得られる、計算効率の改善は、少なくとも、2D画像が3Dボリュームに沿って均一な間隔で順序付けられているという特性による。この特性を利用して、例えば直接的な方法と比較したときの、スキャン全体を位置特定するために必要な計算量を劇的に低減することができ、さらに、位置特定の精度と、さまざまなノイズ源に対するロバスト性とを相当に高めることができる。
次に図1を参照し、図1は、本発明のいくつかの実施形態による技術的な解決策の理解を助ける目的で、CTスキャン102の概略的な画像と、従来の方法(すべてのスライスそれぞれが他のスライスとは独立して位置特定されていた)を使用してスキャンを位置特定した結果を描いたグラフ104とを含む。CTスキャン102の約1300枚のスライスを、従来の方法を使用して、独立して一度に1枚ずつ処理することは、計算負荷が高い、相当に長い処理時間がかかる、処理資源(例:(1つまたは複数の)プロセッサ、メモリ、データストレージ)の高い利用率が必要である、ノイズの影響を受ける、および/または、比較的精度が低い。例えば、グラフ104(スライスのインデックスに対する推定位置をプロットしている)から明らかであるように、スライスのインデックス番号と推定位置との間のマッピングを示す点によって形成されている曲線106は、まっすぐではなく、ノイズ、外れ値、誤差、および全体的に低い精度の影響を示している。対照的に、本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、訓練された分類器によって分類カテゴリに分類されるスライスのサンプリングされたサブセットにフィットさせた線形モデルによって、正規化された解剖学的スケールへのスライスのマッピングを実行する。本明細書に記載されているシステム、方法、装置、および/またはコード命令の少なくともいくつかの実装形態は、すべてのスライスを位置特定する代わりに、スライスの小さいサブセットに基づいて線形モデルのパラメータを推定し、そのモデルをスキャン全体に適用する。位置特定のほとんどの誤差は狭い領域(例:0の周囲)に分布するが、位置特定の誤差が極めて大きいいくつかの外れ値が存在する。本明細書に説明されているように、強い外れ値を有するノイズの多いデータにフィットするように設計されている適切な線形モデルを選択することによって、位置特定の誤差が除去される、または低減する。
本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明は、必ずしもその用途が、以下の記載に示す、および/または図面および/または実施例で例示する、構成の詳細および要素の配置および/または方法に限定されるものではないことを理解するべきである。本発明は、他の実施形態が可能であり、また、さまざまな手段で実施または実行することが可能である。
本発明は、システム、方法、および/またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する(1つまたは複数の)コンピュータ読み取り可能な記憶媒体を含むことができる。
コンピュータ読み取り可能な記憶媒体は、命令実行装置によって使用するための命令を保持および記憶することのできる有形装置とすることができる。コンピュータ読み取り可能な記憶媒体は、例えば、以下に限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組合せ、とすることができる。コンピュータ読み取り可能な記憶媒体のさらなる具体例のリスト(すべては網羅していない)には、以下、すなわち、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、およびこれらの任意の適切な組合せ、が含まれる。本明細書において使用されるコンピュータ読み取り可能な記憶媒体は、本質的に一時的な信号(電波または他の自由に伝搬する電磁波、導波路または他の伝送媒体中を伝搬する電磁波(例:光ファイバケーブルを通る光パルス)、またはワイヤを伝わる電気信号など)であるとは解釈されないものとする。
本明細書に記載されているコンピュータ可読プログラム命令は、コンピュータ読み取り可能な記憶媒体からそれぞれの計算装置/処理装置にダウンロードする、またはネットワーク(例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはワイヤレスネットワーク)を介して外部のコンピュータまたは外部の記憶装置にダウンロードすることができる。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを備えていることができる。各計算装置/処理装置におけるネットワークアダプタカードまたはネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信して、それらのコンピュータ可読プログラム命令を、それぞれの計算装置/処理装置内のコンピュータ読み取り可能な記憶媒体に記憶されるように転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、1種類または複数種類のプログラミング言語(SmalltalkやC++などのオブジェクト指向プログラミング言語、「C」プログラミング言語や類似するプログラミング言語などの従来の手続き型プログラミング言語を含む)の任意の組合せで書かれたソースコードまたはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、独立したソフトウェアパッケージとして、その全体を使用者のコンピュータ上で実行する、またはその一部を使用者のコンピュータ上で実行する、または一部を使用者のコンピュータ上で実行しかつ一部を遠隔のコンピュータ上で実行する、または全体を遠隔のコンピュータまたはサーバ上で実行することができる。後者のシナリオでは、遠隔のコンピュータを、任意のタイプのネットワーク(ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む)を通じて使用者のコンピュータに接続することができる、または、(例えばインターネットサービスプロバイダを使用してインターネットを通じて)外部のコンピュータへの接続を形成することができる。いくつかの実施形態においては、本発明の態様を実行する目的で、電子回路(例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブル論理アレイ(PLA)を含む)が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品の流れ図および/またはブロック図を参照しながら、本明細書に説明してある。流れ図および/またはブロック図の各ブロック、および、流れ図および/またはブロック図におけるブロックの組合せを、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、またはマシンを形成するための他のプログラマブルデータ処理装置のプロセッサに提供することができ、したがってこれらの命令(コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される)は、流れ図および/またはブロック図の1つまたは複数のブロックに指定されている機能/動作を実施するための手段を形成する。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、および/または他の装置が特定の方法で機能するように導くことのできるコンピュータ読み取り可能な記憶媒体に記憶してもよく、したがって、命令を記憶しているコンピュータ読み取り可能な記憶媒体は、流れ図および/またはブロック図の1つまたは複数のブロックに指定されている機能/動作の態様を実施する命令を含む製品を含む。
コンピュータ、他のプログラマブルデータ処理装置、または他の装置上で一連の動作ステップが実行されて、コンピュータによって実施されるプロセスが生成されるように、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードしてもよく、したがって、コンピュータ、他のプログラマブルデータ処理装置、または他の装置で実行される命令が、流れ図および/またはブロック図の1つまたは複数のブロックに指定されている機能/動作を実施する。
図における流れ図およびブロック図は、本発明のさまざまな実施形態に係るシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。これに関して、流れ図またはブロック図における各ブロックは、指定された(1つまたは複数の)論理機能を実施するための1つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表しうる。いくつかの代替実装形態においては、ブロックに記載されている機能は、図に記載されている以外の順序で実行してもよい。例えば、連続して示されている2つのブロックを、関与する機能に応じて、実際には、実質的に同時に実行する、あるいは場合によってはブロックを逆の順序で実行することができる。さらに、ブロック図および/または流れ図の各ブロックと、ブロック図および/または流れ図におけるブロックの組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステムによって、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって、実施してもよいことに留意されたい。
次に図2を参照し、図2は、本発明のいくつかの実施形態による、3Dボリュームの2D画像の入力に応えて、正規化されたスケール上の値を出力する分類器と、出力された値および2D画像の連続的なインデックス番号にフィットさせた線形モデルとに基づいて、対象の個人の対象の解剖学的関心領域(ROI)を位置特定するシステム200のブロック図である。さらに図3も参照し、図3は、本発明のいくつかの実施形態による、3Dボリュームの2D画像の入力に応えて、正規化されたスケール上の値を出力する分類器と、出力された値および2D画像の連続的なインデックス番号にフィットさせた線形モデルとに基づいて、対象の個人の対象の解剖学的関心領域を位置特定する方法の流れ図である。システム200は、図3を参照しながら説明する方法の動作を、オプションとして、メモリ206に記憶されているコード命令を実行する計算装置204の(1つまたは複数の)ハードウェアプロセッサ202によって、実施することができる。
以下では、システム200の理解を助ける目的で、取得された3D解剖学的ボリューム(例:CTスキャン)の処理の例示的な実施について説明する。撮影装置212(例:CTスキャナー)が、対象の個人の3D解剖学的ボリュームを取得し、この3D解剖学的ボリュームをPACSサーバ214に格納することができる。計算装置204は、本明細書に説明されているように、訓練された分類器コード222Aおよび線形モデルコード206を実行することによって、3D解剖学的ボリュームの2Dスライス(オプションとして2Dスライスそれぞれ)を、正規化された解剖学的スケールのそれぞれの位置値にマッピングする。分類器222Aは、本明細書に説明されているように、訓練画像216に基づいて生成される。対象の個人のさまざまな対象の解剖学的構造を描写している、3D解剖学的ボリュームの2Dスライスのさまざまなサブセットを、それぞれの解剖学的構造と、それら2Dスライスに割り当てられている正規化された解剖学的スケールの位置値との間のマッピングに基づいて、取り出す。例えば、2Dスライスの1つのサブセットが肝臓を含み、2Dスライスの別のサブセットが脳を含み、2Dスライスのさらに別のサブセットが肺を含む。これらのサブセットを、例えばCADアプリケーション222Bによって分析されるように提供する。
計算装置204は、例えば、クライアント端末、サーバ、仮想サーバ、放射線ワークステーション、仮想マシン、コンピューティングクラウド、モバイル機器、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ノードブックコンピュータ、ウェアラブルコンピュータ、メガネ型コンピュータ、ウォッチ型コンピュータとして、実施することができる。計算装置204は、高度な映像化ワークステーション(場合によっては放射線ワークステーションの拡張機能である)、および/または、使用者が特定の対象の解剖学的構造に対応する2Dスライスを選択することを可能にする他の装置、および/または、放射線医師に対する他のコンピュータ支援検出装置、を含むことができる。
計算装置204は、図1および/または図3を参照しながら説明する動作の1つまたは複数を実行するローカルに格納されたソフトウェアを含むことができる、および/または、サービス(例:図1および/または図3を参照しながら説明する動作の1つまたは複数)をネットワーク210を通じて1基または複数のクライアント端末208(例:解剖学的画像を見るために使用者によって使用されるクライアント端末、ボリュームを自動的に分析する(1つまたは複数の)CADアプリケーションを実行しているクライアント端末、遠隔に位置する放射線ワークステーション、遠隔の医療用画像管理システム(PACS)サーバ、遠隔の電子カルテ(EMR:electronic medical record)サーバ)に提供する1基または複数のサーバ(例:ネットワークサーバ、Webサーバ、コンピューティングクラウド、仮想サーバ)として機能することができ、例えば、サービスとしてのソフトウェア(SaaS)を(1基または複数の)クライアント端末208に提供する、および/または、Webブラウザおよび/または医療撮影ビューアアプリケーションの拡張機能としてローカルダウンロード用のアプリケーションを(1基または複数の)クライアント端末208に提供する、および/または、リモートアクセスセッションを使用する機能を(例えばWebブラウザ、アプリケーションプログラミングインタフェース(API)、および/またはソフトウェア開発キット(SDK)を通じて)(1基または複数の)クライアント端末208に提供し、例えば、計算装置204にCADアプリケーションを統合して、CADアプリケーションが、自身が検出するように設計されている(1つまたは複数の)対象の解剖学的構造を含む2Dスライスのサブセットを要求することを可能にする。
(1基または複数の)クライアント端末208は、例えば、放射線ワークステーション、デスクトップコンピュータ(例:PACSビューアアプリケーションおよび/またはCADアプリケーションを実行している)、モバイル機器(例:ノートブックコンピュータ、スマートフォン、メガネ型装置、ウェアラブル装置)、およびナースステーションサーバ、として実施することができる。
なお、分類器の訓練と、訓練された分類器を解剖学的画像に適用して正規化された解剖学的スケール上の位置を示す分類カテゴリを計算するステップは、同じ計算装置204によって、および/または、複数の異なる計算装置204によって実施することができ、後者の場合には例えば、1つの計算装置204が分類器を訓練し、訓練された分類器をサーバ装置204に送信することに留意されたい。
計算装置204は、3D解剖学的ボリュームを受信する(この場合には計算装置204が2Dスライスを計算することができる)、および/または、(1基または複数の)解剖学的撮影装置212(例えばコンピュータ断層撮影(CT)装置)によって撮影された3D解剖学的ボリュームの2Dスライスを受信する。撮影装置212によって撮影された3D解剖学的ボリューム(および/またはその2Dスライス)は、画像リポジトリ214(例えば、ストレージサーバ(例:PACSサーバ)、コンピューティングクラウド、仮想メモリ、ハードディスク)に格納することができる。訓練画像216は、本明細書に説明されているように、3D解剖学的ボリュームに基づいて作成される。
訓練画像216は、本明細書に説明されているように分類器を訓練するために使用される。なお、訓練画像216は、ネットワーク210を通じて計算装置204によってアクセス可能であるようにサーバ218によって格納することができ、例えば、一般に利用可能な画像データセット(本明細書に説明されているようにラベル付けされている)、および/または、本明細書に説明されているように分類器を訓練するために作成されたカスタマイズされた訓練データセットである。
(1基または複数の)撮影装置212によって撮影された3D解剖学的ボリュームは、対象患者の身体内の解剖学的特徴および/または解剖学的構造を描写している。例示的な3D解剖学的ボリュームとしては、全身スキャン、頭部スキャン、胸部スキャン、腹部スキャン、胸部および腹部のスキャン、コントラストスキャン、非コントラストスキャン、およびこれらの組合せ、が挙げられる。
計算装置204は、撮影装置212および/または画像リポジトリ214から、1つまたは複数の撮影インタフェース220(例えば、有線接続(例:物理ポート)、無線接続(例:アンテナ)、ローカルバス、データストレージ装置を接続するためのポート、ネットワークインタフェースカード、他の物理的なインタフェース実装、および/または仮想インタフェース(例:ソフトウェアインタフェース、仮想プライベートネットワーク(VPN)接続、アプリケーションプログラミングインタフェース(API)、ソフトウェア開発キット(SDK)))を使用して、正規化された解剖学的スケールの位置値にマッピングする対象の3D解剖学的ボリュームを受信する、および/または、訓練画像216を受信することができる。
(1つまたは複数の)ハードウェアプロセッサ202は、例えば、(1つまたは複数の)中央処理装置(CPU)、(1つまたは複数の)グラフィック処理装置(GPU)、(1つまたは複数の)フィールドプログラマブルゲートアレイ(FPGA)、(1つまたは複数の)デジタル信号プロセッサ(DSP)、(1つまたは複数の)特定用途向け集積回路(ASIC)、として実施することができる。プロセッサ202は、1つまたは複数のプロセッサ(同種または異種)を含むことができ、これらのプロセッサは、クラスタとして、および/または、1つまたは複数のマルチコア処理装置として、並列処理用に配置することができる。
メモリ206(プログラム記憶部および/またはデータ記憶装置とも称される)は、(1つまたは複数の)ハードウェアプロセッサ202によって実行するためのコード命令を記憶し、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、および/またはストレージデバイス(例えば、不揮発性メモリ、磁気媒体、半導体記憶装置、ハードディスクドライブ、リムーバブル記憶装置、および光媒体(例:DVD、CD−ROM))である。メモリ206は、例えば、図1を参照しながら説明する方法の1つまたは複数の動作および/または特徴を実施する画像処理コード206A、および/または、図3を参照しながら説明する方法の1つまたは複数の動作を実行する訓練コード206B、および/または、訓練された分類器222Aのコード命令および/または線形モデル206Cのコード命令、および/またはCADアプリケーションコード222B、を記憶することができる。
これに代えて、またはこれに加えて、(1基または複数の)クライアント端末208および/またはサーバ218が、CADアプリケーションコード222Bおよび/または訓練コード206Bをローカルに格納する、および/または実行することができる。
計算装置204は、データ(例えば、訓練された分類器222A、線形モデルのコード206C、訓練画像216、および/または(1つまたは複数の)CADアプリケーション222B)を格納するためのデータストレージ装置222を含むことができる。データストレージ装置222は、例えば、メモリ、ローカルハードディスクドライブ、リムーバブル記憶装置、光ディスク、ストレージデバイスとして、および/または、リモートサーバおよび/またはコンピューティングクラウド(例:ネットワーク210を通じてアクセスされる)として、実施することができる。なお、訓練された分類器222A、線形モデルのコード206C、訓練画像216、および/または(1つまたは複数の)CADアプリケーション222Bをデータストレージ装置222に格納することができ、この場合に実行部分が、(1つまたは複数の)プロセッサ202によって実行されるようにメモリ206にロードされることに留意されたい。
計算装置204は、ネットワーク210に接続するためのデータインタフェース224(オプションとしてネットワークインタフェース)(例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続用のケーブルに接続するための物理インタフェース、ソフトウェアにおいて実施される仮想インタフェース、ネットワーク接続の上位層を提供するネットワーク通信ソフトウェア、および/または他の実装形態、のうちの1つまたは複数)を含むことができる。計算装置204は、例えば、更新された訓練画像216をダウンロードする、および/または、画像処理コード、訓練コード、(1つまたは複数の)CADアプリケーション、および/または訓練された分類器、の更新されたバージョンをダウンロードする目的で、ネットワーク210を使用して1基または複数のリモートサーバ218にアクセスすることができる。
なお、撮影インタフェース220およびデータインタフェース224は、単一のインタフェース(例:ネットワークインタフェース、1つのソフトウェアインタフェース)として実施する、および/または、2つの独立したインタフェース(ソフトウェアインタフェース(例:APIとして、ネットワークポートとして)および/またはハードウェアインタフェース(例:2つのネットワークインタフェース)など)として実施する、および/または組合せ(例:1つのネットワークインタフェースと、2つのソフトウェアインタフェース、共通の物理インタフェース上の2つの仮想インタフェース、共通のネットワークポート上の仮想ネットワーク)として実施することができることに留意されたい。用語/構成要素「撮影インタフェース220」は、用語「データインタフェース224と相互に置き換えられていることがある。
計算装置204は、ネットワーク210を使用して、または別の通信路を使用して(直接リンク(例:ケーブル、無線)を通じて、および/または間接リンクを通じて(例:サーバなどの中間計算装置を介して、および/または記憶装置を介して)など)、以下の1つまたは複数と通信することができる。
*(1つまたは複数の)クライアント端末208(例えば計算装置204が、2Dスライスを、正規化された解剖学的スケール上の位置値にマッピングするサーバとして機能するとき)。クライアント端末208は、対象の解剖学的構造に対応する位置値を有する、計算装置204からの特定の2Dスライス、を要求することができる。取得された2Dスライスは、例えば、(例えば放射線医師によって)見ることができるように、および/または、(例えばクライアント端末208にインストールされているCADアプリケーションによって)自動的に処理されるように、表示アプリケーション内に提示することができる。
*サーバ218。一実装形態においては、サーバ218は、画像サーバ214(例えばPACSサーバ)として実施される。サーバ218は、新しい3D解剖学的画像が撮影されたときにこれらを格納する、および/または、訓練データセットを格納することができる。別の実装形態においては、サーバ218は、画像サーバ214および計算装置204と通信する。サーバ218は、画像サーバ214と計算装置204の間で調整することができ、例えば、サーバ218から新たに受信された3D解剖学的ボリュームを、その2Dスライスを正規化された解剖学的スケールの位置値にマッピングできるように、計算装置204に送信する。さらに別の実装形態においては、サーバ218は、クライアント端末208に関連して説明した1つまたは複数の特徴を実行することができ、例えば、対象の解剖学的構造に対応する位置値を有する、計算装置204からの特定の2Dスライス、を要求して、ディスプレイ上に提示する、および/または、(1つまたは複数の)CADアプリケーション(サーバ218にローカルにインストールすることができる)に入力する。
*3D解剖学的ボリューム(および/またはその2Dスライス)を格納する解剖学的画像リポジトリ214、および/または、3D解剖学的ボリューム(および/またはその2Dスライス)を出力する撮影装置212。
計算装置204および/または(1基または複数の)クライアント端末208および/または(1基または複数の)サーバ218は、ユーザインタフェース226を含む、またはユーザインタフェース226と通信し、ユーザインタフェース226は、使用者がデータを入力する(例えば、(1つまたは複数の)対象の解剖学的構造を描写している対応する2Dスライスを取得するために(1つまたは複数の)対象の解剖学的構造を選択する、実行するCADアプリケーションを選択する)、および/または取得された2D画像を見る、および/または実行されたCADアプリケーションの結果を見ることができるように設計されている機構を含む。例示的なユーザインタフェース226は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、スピーカーおよびマイクロフォンを使用する音声作動ソフトウェア、の1つまたは複数を含む。
再び図3を参照し、302においては、1つまたは複数の分類器を訓練する、および/または用意する。分類器は、例えば、畳み込みニューラルネットワーク(CNN)として、および/またはリグレッサー(regressor)として、実施することができる。
なお、リグレッサーは、正規化された解剖学的スケールによって定義される範囲内の連続的な数を出力することに留意されたい。
複数の分類器は、3D解剖学的ボリュームを取得するときの撮像モダリティおよび/またはプロトコルに基づいて、訓練する、および/または用意することができる(例えば、CTスキャン用、MRIスキャン用、核医学スキャン用、PETスキャン用、コントラストスキャン用、非コントラストスキャン用、および/またはこれらの組合せ)。
分類器は、入力された2D画像(すなわち、本明細書に説明されているように3D解剖学的ボリュームを均一にサブサンプリングすることによって得られる2D画像)を、正規化された解剖学的スケールに沿った複数の等間隔の値に対応する分類カテゴリに分類するように訓練される。例えば、分類器は、正規化された解剖学的スケール上で(例えば0〜99の範囲内で)、2D画像が最良に適合する位置(オプションとして個別の数値)を出力する。分類器は、それぞれの2D画像がスケール上のそれぞれの値に対応する確率を示す、正規化された解剖学的スケールの値それぞれの確率値を、例えば、スケール上の値の数(例:100)に対応するサイズを有するベクトルとして、出力することができる。なお、確率値にしきい値を適用して分類結果を得ることもできる(例えば、確率値が90%(または他の値)より高いときにスケールのその値を選択する)ことに留意されたい。
オプションとして、正規化された解剖学的スケールは、任意の人体の軸方向次元に沿った等間隔位置の1次元座標系である。1次元座標系は、例えば、非特許文献6および/または非特許文献7に関連して説明することができる。解剖学的スケールは、それぞれの患者の身長および/またはスキャン解像度にかかわらず不変とすることができる。正規化された解剖学的スケールは、3Dボリュームの2D画像(例:CTスキャンの2Dスライス)を位置特定するという課題を、正規化された解剖学的スケールによって定義される範囲(例:[0,99])内のスカラーに2D画像をマッピングするという課題に軽減することを可能にしうる。
正規化された解剖学的スケールは、例えば0〜99、または1〜100、または0〜10、または1〜1000、または他の範囲、にまたがる値の連続する範囲である。頭頂の正規化された位置が、スケールの最低値(例:0または別の値)に設定され、足の最下部が、スケールの最高値(例:99または別の値)に設定される。別の実装形態においては、頭頂の正規化された位置が、スケールの最高値に設定され、足の最下部が、スケールの最低値に設定される。
サイズおよび/または体重にかかわらず、男性、女性、子供に同じスケールを使用することができる。これに代えて、人の異なるカテゴリに、異なるスケールを使用することができ、例えば、子供の身体部位の比率は成人とは異なるため、子供用の1つのスケールと成人用の別のスケールを使用することができる。異なるスケールに対して異なる分類器を訓練することができる。スケールのタイプは、例えば、画像を自動的に分析するコードに基づいて、メタデータに基づいて、患者の健康診断書に基づいて、および/または、使用者によるマニュアル入力に基づいて、選択することができる。
分類器は、サンプル患者のラベル付けされた3D解剖学的ボリューム(例えば全身のCTスキャン)の訓練データセットに従って訓練される。3D解剖学的ボリュームの2D画像(例:CTスキャンのスライス)を、正規化された解剖学的スケールの値でラベル付けする、および/またはタグ付けする。この値は、次の例示的なプロセスによって計算する。すなわち、上側2D画像および下側2D画像を、それぞれの描写されている定義済みの解剖学的ランドマークに対応する値でラベル付けする。上側2D画像および下側2D画像とは、解剖学的ランドマークが最初に現れる上方の2D画像および下方の2D画像に相当する。上側2D画像より前の2D画像と、下側画像より後の2D画像は、解剖学的ランドマークを描写していない。解剖学的ランドマークは、何枚かの連続する2D画像にまたがる。解剖学的ランドマークは、人体、オプションとして健康および/または正常な人体(例えば解剖学的異常および/または正規分布上の極端な値を有する(例:極めて大きい、極めて小さい)身体を除外する)、の相対的位置に基づくスケール上の値を有する、明瞭な部位とすることができる。例示的な解剖学的ランドマークおよび対応する値は、頭頂および0、側脳室および10.9、舌骨および12.6、上側胸骨および18.9、竜骨および21.1、下側心臓および28.0、第十二肋骨末端および36.6、上側骨盤骨および40.0、小転子および51.4、膝蓋骨および71.4、下側足部および100.0、からなる群から選択される。ラベル付けは、例えば、設計されたグラフィカルユーザインタフェースを使用する使用者によって手動で、および/または、解剖学的ランドマークを自動的に切り出すように設計されているコードによって自動的に、実行することができる。上側2D画像と下側2D画像との間の2D画像は、それら上側2D画像および下側2D画像の値の線形補間によって計算される値でラベル付けされる。最も端の解剖学的ランドマークをラベル付けするプロセスは、計算効率が高く、なぜなら最も端の解剖学的ランドマークを描写している画像の間の2D画像が、最も端の2D画像の値に基づいて自動的にラベル付けされるためである。
3Dボリュームが人の全身(例:全身のCTスキャン)を描写しているときには、最も端のスライスは、スケールの最低値および最高値に対応する最も端の解剖学的ランドマーク(例:0.0における頭頂と、100.0における下側足部)を描写していることができる。
なお、このプロセスでは、部分的な身体部位を描写している他の3Dボリューム(例えば、頭部スキャン、腹部スキャン、胸部スキャン、腹部および胸部のスキャン)は、その身体部位における最も端の(例:最も高い、最も低い)解剖学的ランドマークを描写している2D画像の識別に基づいて、自動的かつ正確にラベル付けされることに留意されたい。
分類器を作成するために使用される訓練データセットは、歪みおよび/またはアーチファクト(物体(例:ペースメーカー、ねじ、金属製の股関節および/または膝関節、アマルガム充填物など)の存在を含む)を写している、さまざまなスキャンプロトコルからの3Dボリューム、を含むことができる。
さまざまな撮像モダリティの3Dボリューム用の分類器を訓練するため、さまざまな撮像モダリティからのさまざまな撮像ボリュームの複数の異なるデータセットを作成することができる。
なお、部分的な身体のスキャンを使用することができ、この場合、CTスキャンに描写されている身体の最上部および最下部に解剖学的スケールの対応する値が割り当てられることに留意されたい。
次に図4を参照し、図4は、本発明のいくつかの実施形態による、入力された2D画像を、正規化された解剖学的スケールの値にマッピングする分類器のCNN 402の実装の例示的なアーキテクチャの概略図である。本明細書に説明されているように、CNN実装は一例であり、別の実装および/またはアーキテクチャ(例えば、CNNアーキテクチャ402のバリエーション、別のニューラルネットワークアーキテクチャ、および/または、別の分類器アーキテクチャ(例えばリグレッサー))も可能である。
オプションとして、CNN 402は、単一チャネルの256×256入力画像と、softmaxで正規化された長さ100の出力ベクトルを含む。オプションの前処理は、元の512×512 CTスライスを、例えばバイリニア補間(bi-linear interpolation)を使用して256×256スライスにリサイズするステップを含む。ハンスフィールド単位を示す元のピクセル値は、(必ずしも)リスケールしない。
304においては、3D解剖学的ボリュームを受信する。3D解剖学的ボリュームは、例えば、医用画像ストレージサーバ(例:PACS)から、患者の電子カルテ(EHR)から、撮影装置から、および/または、ストレージ装置(例:CD−ROM、クラウドストレージ、ハードディスク、ディスクオンキー)から、取得することができる。3D解剖学的ボリュームは、(例えば撮影装置による撮影時に)自動的に受信する、および/または、バッチ形式で(例:日中に撮影された画像を夜間に処理する)受信することができる。
各3D解剖学的ボリュームは、連続する2D画像(オプションとして連続するスライス)に分割される。スライスは等間隔とすることができる。スライスは、重複する、および/または、重複しない。スライスは、アキシャルスライスとすることができる。他の平面におけるスライスを使用してもよく、その場合、正規化された解剖学的スケールは、スライス平面に垂直に設計され、それに応じて分類器は、選択された平面におけるラベル付けされた2Dスライスの訓練データセットで訓練される。
2D画像には、3D解剖学的ボリューム内で連続するインデックス番号が割り当てられる。例えば、最初の2D画像に値0または1が割り当てられ、それに続く各2D画像が、1ずつ大きい番号を有する。2D画像の総数は、例えば、約100〜2000、または約500〜3000、または約1000〜2000、または他の値である。
なお、インデックス番号は、3Dボリュームに関連付けられて格納されているメタデータ(例えばDICOM(登録商標)メタデータ)とは独立して割り当てることができることに留意されたい。このようなメタデータは、例えばスライス番号を含むことがあり、このスライス番号が正しくないことがある。
3D解剖学的ボリュームは、例えば、CTスキャナー、MRI装置、PETスキャナー、核医学装置、3D超音波スキャナー、およびこれらの組合せ、によって出力することができる。
306においては、2D画像を均一にサンプリングする。均一なサブサンプリングは、例えば約10〜50枚の連続する2D画像ごとに1枚の2D画像を選択することによって行う。サンプリングする2D画像の数は、例えば約20〜50枚である。
308においては、サンプリングされた2D画像を分類器に供給する。オプションとして、サンプリングされた2D画像それぞれの元のピクセル値を、分類器に入力する。2D画像には、分類器に供給する前にピクセル値を調整するための前処理を必ずしも行わない。
分類器は、入力された各2D画像に対して、正規化された解剖学的スケール上の値を出力する。
オプションとして、分類器は、入力された2D画像と計算された値との間のマッピングの信頼度を示すマッピング信頼度スコアを計算する。マッピング信頼度スコアは、例えば、確率値とすることができる。マッピング信頼度スコアは、例えばベクトルとして、分類器が値を出力する対象の各候補値に対して計算することができる。例えば分類器は、解剖学的スケールの100の分割に対応するサイズ100のベクトルを出力し、この場合、100個の値それぞれに対して計算されるマッピング信頼度スコアは、その2D画像が解剖学的スケール上の100個の位置それぞれにマッピングされる確率を示す。概念的には、2D画像は実際には1つの位置に対応するのみであるため、確率値を分析して、例えばピークのマッピング信頼度スコアとして、および/または、高い可能性を示すしきい値を超えるマッピング信頼度スコア(例:90%以上、80%以上、95%以上、または他の値)として、2D画像にマッピングされているスケール上の値を選択することができる。
オプションとして、マッピング信頼度スコアが拒否要件に従うときには、計算された値を拒否する。拒否要件は、1枚の2D画像に対する複数のピーク確率値(例:ベクトル)として定義することができ、この場合、各ピークは、ピークの定義(例えば確率しきい値を超える、および/または別の確率値に関して定義される量だけ大きい確率値)に従って定義することができる。複数のピークが存在することは、1枚の画像が解剖学的スケール上の複数の異なる位置にマッピングされることを示しており、1枚の画像はただ1つの位置にマッピングされるのでこれは正しくない。これに代えて、またはこれに加えて、拒否要件は、マッピング信頼度スコアが、正しいマッピングの低い可能性を表すしきい値より低い(例えば約90%未満、または80%未満、または70%未満、または他の値)こととして定義することができる。さらなる詳細および例については、後から図6を参照しながら「実施例」のセクションで説明する。
オプションとして、マッピング信頼度スコアが、1つの狭い確率ベクトルを含む、および/または、高い可能性を示すしきい値を超えているとき、その2D画像を保持する。
310においては、(分類器によって出力された)値および対応する連続的なインデックス番号に、線形モデルをフィットさせる。
線形モデルは、3Dボリュームの2D画像(例:スライス)が等間隔であるとき、かつ解剖学的スケールが等間隔の値を有するときに、解剖学的スケールと2D画像のインデックス番号との間のマッピングが線形であるという想定に基づいて、選択することができる。
オプションとして、強い外れ値を有するノイズの多いデータにフィットするように線形モデルを選択する。強い外れ値を線形モデルによって拒否することができ、例えば、強い外れ値は2D画像の分類におけるエラーを表し、したがって線形モデルをフィットさせるときに無視するべきである。例えば線形モデルは、例えば非特許文献8を参照して説明されるように、外れ値に対して極めてロバストであるRANSAC(Random Sample Consensus)プロセスに基づくことができる。
312においては、例えば、信頼性がない結果を定義する一連の規則が満たされるときに、3Dボリュームを、さらなる処理から除外するように評価することができる。一連の規則は、線形モデルに対して計算されるフィットスコアと、サンプリングされた2D画像のサブセットに対して分類器によって出力される確率値(例:ベクトルに格納されている)とに基づくことができる。
フィットスコアは、それぞれのサンプリングされた2D画像の値および対応する連続的なインデックス番号への、線形モデル(例:RANSAC)のフィットに対して計算することができる。フィットスコアのフィットスコア要件は、値の計算におけるエラーを定義する。フィットスコア要件は、例えばしきい値とすることができ、この場合、しきい値より低いフィットスコアは、値の計算におけるエラーを表す。
3D解剖学的ボリュームの2D画像が均一な間隔で順序付けられているという線形性の想定は、フィットスコアに従って3Dボリュームを除外するためのフェイルセーフメカニズムとしての役割を果たす。
フィットスコアは、例えば、それぞれのサンプリングされた2D画像の値および対応する連続的なインデックス番号への線形モデル(例:RANSACプロセス)のフィットを表すことができる。
314においては、例えば、一連の規則が満たされているとき、3D解剖学的ボリュームを拒否することができる。一連の規則は、3Dボリュームの2D画像を解剖学的スケール上の位置にマッピングしたときの、信頼できる結果と信頼できない結果を区別することができる。一連の規則は、フィットスコア(例:線形モデルをフィットさせるために使用されたプロセスに対して計算される)に基づく、および/または、選択されたサンプリングされた2D画像に対して分類器によって出力される(例えばベクトルの)確率値に基づくことができる。確率値は、それぞれの2D画像と、正規化された解剖学的スケール上の値(例:各値)の間のマッピングが正確である可能性を表す。
オプションとして、一連の規則および/またはフィットスコアは、拒否要件に従って評価される。
2D画像を解剖学的スケールにマッピングする位置特定プロセスが、フィットスコアに基づいて、オプションとして一連の規則に従って、正しくないと判定されるとき、3D解剖学的ボリュームを拒否することができる。
プロセスが不成功に終了したことのエラーの指示情報を生成することができ、例えば、管理者のディスプレイ上にメッセージが表示される、管理者の受信トレイに電子メールが送られる、および/または、医療記録および/または撮影記録にタグが付加される。
サンプリングされた各2D画像に対して、本明細書に説明されているようにスケールの各値について計算された確率を有する、解剖学的スケールに対応するサイズのベクトル、を計算することができ、この場合、確率値は、それぞれの2D画像の、スケール上のそれぞれの解剖学的位置へのマッピングの可能性を表す。このベクトルを分析して、オプションとして一連の規則に従って、3D解剖学的ボリュームを拒否するかを判定することができる。例えば、サンプリングされた2D画像の各ベクトルが1つの高い確率値を含むときには、その3Dボリュームを、信頼性があると判定することができる。高い確率値(例:ピーク値)は、例えば、スケールの1つの値がしきい値を超える(例:80%を超える、または90%を超える、または他の値を超える)こととして、および/または、最大値が周囲の別の値より要件値だけ高い(例:50%高い、または60%高い、または2倍である、または3倍である、または他の値だけ高い)こととして、定義することができる。複数のピーク(例えばしきい値を超える2つの値(例えば、85%より高い確率値を有するスケール上の2つの位置))を有する2D画像のベクトル、または散在している高い確率値(例:散在しているピーク、例えば、いずれも要件値を下回る互いに近い値を有するスケール上の3つの連続的な値(例えば68%、85%、73%))を有する2D画像のベクトルは、オプションとして一連の規則に従って拒否されるべきエラーの3Dボリュームを表しうる。
これに代えて、またはこれに加えて、外れ値として識別される特定の2D画像を、除外する、および/または無視し、3Dボリュームの残りの2D画像について、オプションとして一連の規則に従って処理を進める。
これに代えて、一連の規則および/またはフィットスコアが拒否要件を満たさないとき、動作316を実施する。動作316は、特定の2D画像が除外されるとき、残りの2D画像を処理することによって実施することができる。
316においては、線形モデルによって、2D画像を正規化された解剖学的スケールにマッピングする。線形モデルによってマッピングされる2D画像は、選択されなかった2D画像(均一にサンプリングされず分類器に供給されなかった2D画像)とすることができる。これに代えて、またはこれに加えて、線形モデルによってマッピングされる2D画像は、サンプリングされた2D画像を含むことができる(例:3Dボリュームのすべての2D画像)。このような場合、分類器に供給されたサンプリングされた2D画像の値を、線形モデルを使用して再計算することができる。値を再計算することにより、2D画像すべてを線形モデルに従ってスケールに沿って整列させることによって、分類器の誤差を取り除くことができる。
なお2D画像は、3D解剖学的ボリュームに関連付けられるメタデータとは独立して(例えばDICOM(登録商標)とは独立して)、正規化された解剖学的スケールのそれぞれの値にマッピングすることができることに留意されたい。このようなメタデータは、誤っていることがある。例えばメタデータは、スライス番号の誤った指示情報を格納していることがある、および/または、それぞれの2D画像に描写されている解剖学的特徴において正しくないことがある。
318においては、対象の個人の1つまたは複数の対象の解剖学的関心領域の指示情報を受信する。対象の個人は、処理される3D解剖学的ボリュームに描写されている同じ患者である。
対象の解剖学的関心領域の指示情報は、例えば、対象の解剖学的関心領域を描写している画像を分析するように設計されている対象のアプリケーション(例:CADアプリケーション)に関連付けられるコードを実行することによって、および/または、選択される関心領域(事前定義される一連の関心領域から選択される)を使用者がマニュアルで入力することによって、取得することができる、および/または、対象の関心領域を事前定義してデータストレージ装置に格納しておくことができる。
対象の解剖学的関心領域は、画像に描写されている解剖学的ランドマークおよび/または解剖学的特徴(例えば心室、肝臓、特定のリンパ節、脳、肺、脊椎の特定の椎骨、大腿骨)を含むことができる。
各対象の解剖学的関心領域を、正規化された解剖学的スケールに事前にマッピングしておく(例えばキーと値のペアとしてデータセットに格納する、および/または他の方法)ことができる。
各対象の解剖学的関心領域を、正規化された解剖学的スケールの1つまたは複数の値(例えば範囲)にマッピングすることができる。
320においては、受信した対象の解剖学的関心領域に対応する、正規化された解剖学的スケールの値を有する2D画像を提供する。
選択された2D画像のセットを提供することができ、例えば視覚的に検査できるようにクライアント端末のディスプレイ上に提示する(例:放射線ワークステーションにおけるPACSビューアによって提示する)、ストレージ装置(例:患者に提供されるCD−ROMまたはディスクオンキー)に格納する、サーバに格納する、および/または、さらなる処理のために別の実行プロセスに提供することができる。
322においては、対象の解剖学的関心領域に対応するスケールの値を有する提供された2D画像のサブセットを、特定の対象の解剖学的関心領域を分析するように設計されているコンピュータ支援診断(CAD)プロセスに供給することができる。例えば、肝臓に対応する2D画像のサブセットを、肝臓を切り出し肝臓を分析して脂肪肝および/または結腸癌転移の兆候を検出するCADプロセスに供給する。
324においては、患者の治療を、特定の対象の解剖学的関心領域に対応する値を有する2D画像のそれぞれのサブセットの分析に従って、計画することができる。例えば、画像のサブセットの視覚的な評価に基づいて、および/または、コードによる(例:CADアプリケーションによる)自動的な評価に基づいて、および/または、(例:マニュアル操作での、および/または自動的な)対象の関心領域の治療用に設計されている治療計画アプリケーション(手術シミュレーションアプリケーションおよび/または手術計画アプリケーションなど)によって、治療を計画することができる。
326においては、ステップ318〜324に関連して説明した1つまたは複数の動作を、例えば並列に、および/または連続的に、繰り返すことができる。例えば、複数の異なる対象の関心領域を受信して(例:肺、肝臓、膀胱)、対応する2D画像のセットを、それぞれの関心領域を描写している画像を処理するようにそれぞれが設計されている複数の異なるCADアプリケーションに提供する。例えば、肺癌を検出するように設計されている1つのCADアプリケーションと、脂肪肝を検出するように設計されている別のCADアプリケーションと、膀胱癌を検出するように設計されている第3のCADアプリケーションである。
上に説明した、および特許請求の範囲に請求される本発明のさまざまな実施形態および態様は、以下の実施例における計算によって裏付けられる。
実施例
分類器を訓練し、訓練された分類器および線形モデルによってCTスライスを位置特定する以下の実施例を参照し、これらの実施例は、上の説明と共に、本明細書に記載されているシステム、方法、装置、および/またはコード命令のいつかの実装形態を、本発明を制限することなく例証する。
本発明者らは、100の部分に分割された1次元の正規化された解剖学的スケールを使用し、本明細書に説明されているように、頭頂を0に設定し、足の最下部を99に設定した。
実験的な評価に使用した分類器は、図4を参照しながら説明したCNNである。このCNNは、本明細書に説明されているように、単一チャネルの256×256入力画像と、softmaxで正規化された長さ100の出力ベクトル(正規化された解剖学的スケールの100の等間隔分割に対応する)とを有していた。前処理として、元の512×512 CTスライスを、バイリニア補間を使用して256×256スライスにリサイズするステップのみを含めた。ハンスフィールド単位を示す元のピクセル値はリスケールしなかった。
訓練データセットは、サンプル被検者のCTボリュームを次のようにラベル付けすることによって作成した。すなわちCTスキャンが与えられたとき、訓練されたアノテーターが、本明細書に記載されている11個のランドマークのうち上側(最も上)および下側(最も下)の目視可能な解剖学的ランドマークを示しているスライスを特定した。これら2枚のスライスに、ランドマークの対応する値を割り当てた。これら2枚の最も端のスライスの間のすべてのスライスに、最も端のスライスの正規化された位置の線形補間値を割り当てた。
訓練セットは、124人の成人男性および124人の成人女性の248枚のスキャンを含んでいた。これらのスキャンは、さまざまなスキャンプロトコル、歪み、およびアーチファクト(物体(例:ペースメーカー、ねじ、金属製の股関節および膝関節、アマルガム充填物など)を含む)、が含まれるように選択した。CTスキャンから約60,000枚のスライスの集合が作成され、これらのスライスを、3枚の連続するスライスのうち最初のスライスのみが訓練セットに含まれるようにサブサンプリングし、結果として19,287枚のスライスを得た。
検証セットを同じ基準によって作成し、13人の成人男性および13人の成人女性の26枚のスキャンを含んでいた。サブサンプリングの後、検証セットは2355枚のスライスを含んでいた。
訓練は、Adamオプティマイザおよび分類の交差エントロピー誤差を使用して、50回のエポックを通じて行った。学習率は、最初の30回のエポックにおいて10−4、次の10回のエポックにおいて10−5、最後の10回のエポックにおいて10−6であった。データ拡張には、ズーム、回転、ずれ、左右反転および上下反転を含めた。
次に図5を参照し、図5は、本発明のいくつかの実施形態による、訓練された分類器によって計算された、実験的な評価の検証セット全体における、グランドトゥルースラベルに対する予測されたラベルをプロットしたグラフ502(すなわち点グラフ)である。この分類を分析すると、誤差中央値が1単位、平均が1.4単位である。グラフに示されているように、位置特定の誤差の大部分は0付近の狭い領域に分布しているが、極めて大きな位置特定誤差を有するいくつかの外れ値(例えば矢印504が指している点)が存在する。
次に図6を参照し、図6は、本発明のいくつかの実施形態による、サンプルのスライスと、実験的な評価用に訓練された分類器によって計算された分類されたクラスの対応する確率を描いたグラフを含む。これらのグラフは、例えば動作312に関連して本明細書に説明したように、信頼性がない3Dボリュームを除外するプロセスを視覚的に説明するのに役立つ。狭い確率ベクトル(例:グラフ602A〜602Cに示したベクトル)は、信頼性がある位置特定として解釈され、3Dボリュームが維持されることを示している。より広がった、および/または複数のピークのある確率ベクトル(例:グラフ602D〜602Fに示したベクトル)は、信頼性が低いものとみなされ、対応する3Dボリュームを拒否する、および/またはさらなる処理から除外することができる。グラフ602D〜602Fは、相当な位置特定誤差を有するスライスと、対応するクラスの確率を描いている。
線形モデルには、本明細書に説明されているようにRANSACプロセスを選択した。
次に図7A〜図7Cを参照し、図7A〜図7Cは、CTスキャンのいくつかの例と、本発明のいくつかの実施形態による、実験的な評価用にRNASACベースの線形モデルにフィットさせた、30枚の等間隔のサンプリングされたスライスの対応する位置特定を描いたグラフとを含む。
実施例702は、人体図702Cの線702B−1と線702B−2との間に表されている頭部領域の概略的CTボリューム(summary CT volume)702Aを含む。グラフ702Dは、均一にサンプリングされたスライスの、スライスインデックスに対する、分類器によって計算された推定位置を表す点702Eのプロットである。直線702Fは、プロットされた点に、RANSAC法を使用してフィットさせた線形モデルを表している。
実施例704は、人体図704Cの線704B−1と線704B−2との間に表されている胸部および腹部領域の概略的CTボリューム704Aを含む。グラフ704Dは、均一にサンプリングされたスライスの、スライスインデックスに対する、分類器によって計算された推定位置を表す点704Eのプロットである。直線704Fは、プロットされた点に、RANSAC法を使用してフィットさせた線形モデルを表している。
実施例706は、人体図706Cの線706B−1と線706B−2との間に表されている下肢領域の概略的CTボリューム706Aを含む。グラフ706Dは、均一にサンプリングされたスライスの、スライスインデックスに対する、分類器によって計算された推定位置を表す点706Eのプロットである。直線706Fは、プロットされた点に、RANSAC法を使用してフィットさせた線形モデルを表している。
なお、グラフ702Dおよびグラフ706Dにおける外れ値は、推定される線形モデルに影響していない。
本発明者らは、本明細書に説明されている位置特定プロセスの精度を、胸部−腹部領域の1500枚のCTスキャンの集合に基づいて検証した。これらのスキャンを、椎骨セグメンテーションアルゴリズム(vertebrae segmentation algorithm)によって処理した。セグメンテーションの結果を使用して、T12−L1、L1−L2、L2−L3、L3−L4、L4−L5の各椎骨中心の間の中間点に位置する個々のスライスのインデックスを検出した。本発明者らは、この手順に従って、5つの異なる集合を生成し、各集合は、同じ解剖学的位置にある1500枚のスライスからなる。さらに、先の1500枚のCTスキャンを、本明細書に記載されているシステム、装置、方法、および/またはコード命令の少なくともいくつかの実装形態に基づく、すべてのスキャンのすべてのスライスを[0,99]の間隔にマッピングするスライス位置特定ツール、によって処理した。本発明者らは、5つの集合すべてにおいて、各スライスに割り当てられた位置特定値の平均および標準偏差を計算した。
次に図8を参照し、図8は、本発明のいくつかの実施形態による、実験的な評価の一部として計算された、特定の椎骨の位置の位置特定値の一連のヒストグラムである。
人の身体全体が[0,99]の間隔にマッピングされ、成人の平均身長がおよそ170[cm]であるため、正規化されたスケールにおける1単位の誤差は、約1.7センチメートルに等しい。すなわち、評価される解剖学的関心領域に対して、本明細書に記載されているシステム、装置、方法、および/またはコード命令の少なくともいくつかの実装形態約1.5センチメートルの位置特定精度を提供する。
さまざまな身体部位およびプロトコルの4000枚のスキャンの前頭方向撮影および対応する位置特定の結果を、図7A〜図7Cに示した形式を用いてプロットした。図を調べて、不正確な位置特定の場合を見つけた。本発明者らは、最初の2000枚のスキャンのみを使用して、信頼性がある位置特定と信頼性がない位置特定とを区別するいくつかの規則を開発した。これらの規則は、RANSACフィットスコアと、モデルのフィットに使用されたスライスのサブセットの確率ベクトルとに基づく。作成した規則を、残りの2000枚のスキャンを対象にテストした。これらの規則は、信頼性がないスキャンを除外するのに極めて有効であることが判明した。結果の分析では、スキャンの97.5%が信頼性のあるものと正しく分類され(正答率97.5%)、1枚のスキャンのみが、信頼性があるものと誤って分類されたことが示された。
除外基準が有効かつ信頼性があるものと判明した時点で、さまざまな身体部位およびプロトコルの、21,500枚の個別のスキャンのより大きな集合を対象に、本明細書に記載されている位置特定ツールを実行した後、除外基準を実行した。
次に図9を参照し、図9は、本発明のいくつかの実施形態による、コンピュータによる評価の開発された除外基準を使用して評価された最も頻度の高い60箇所の部位における成功/失敗の比率のプロットである。
ここまで本発明のさまざまな実施形態を、実例を目的として説明してきたが、上記の説明は、すべてを網羅する、または開示される実施形態に限定されることを意図するものではない。この技術分野における通常の技術を有する者には、説明した実施形態の範囲および趣旨から逸脱することなく、多数の修正形態および変形形態が明らかであろう。本明細書において使用されている専門用語は、実施形態の原理、実際の用途、または市場に存在する技術に優る技術的改善を最良に説明するために、あるいは、この技術分野における通常の技術を有する者が、本明細書に開示されている実施形態を理解することができるように、選択されている。
本出願から発生する特許権の存続期間中、数多くの関連する3Dボリュームが開発されることが予測されるが、用語「3Dボリューム」の範囲は、このような新規の技術すべてを含むものとする。
本明細書で使用する「約」は、±10%を指す。
用語「含む(comprises)」、「含む(comprising)」、「含む(includes)」、「含む(including)」、「有する(having)」およびその活用形は、「限定されるものではないが、含む(including but not limited to)」を意味する。この語は、語「〜からなる」および「本質的に〜からなる」を包含する。
「本質的に〜からなる」という表現は、組成物または方法が、追加の成分および/または追加のステップを含んでもよく、ただし、それら追加の成分および/または追加のステップが、特許請求の範囲に記載されている組成物または方法の基本的かつ新規の特徴を実質的に変化させない場合に限られることを意味する。
本明細書において、単数形を表す「a」、「an」および「the」は、文脈が明らかに他を示さない限り、複数をも対象とする。例えば、「化合物(a compound)」または「少なくとも1種の化合物」には、複数の化合物が含まれ、それらの混合物をも含み得る。
語「例示的な」は、本明細書においては、「例、一例、または説明としての役割を果たす」を意味する目的で使用されている。「例示的な」として説明されている実施形態は、必ずしも他の実施形態よりも好ましい、または有利であるとは解釈されないものとする、および/または、他の実施形態の特徴を組み込むことが排除されないものとする。
語「オプションとして」は、本明細書においては、「いくつかの実施形態において設けられ、他の実施形態では設けられない」を意味する目的で使用されている。本発明のいずれの実施形態も、互いに矛盾しない限りは複数の「オプションの」特徴を含むことができる。
本願全体を通して、本発明のさまざまな実施形態は、範囲形式にて示され得る。範囲形式での記載は、単に利便性および簡潔さのためであり、本発明の範囲の柔軟性を欠く制限ではないことを理解されたい。したがって、範囲の記載は、可能な下位の範囲の全部、およびその範囲内の個々の数値を特異的に開示していると考えるべきである。例えば、1〜6といった範囲の記載は、1〜3、1〜4、1〜5、2〜4、2〜6、3〜6等の部分範囲のみならず、その範囲内の個々の数値、例えば1、2、3、4、5および6も具体的に開示するものとする。これは、範囲の大きさに関わらず適用される。
本明細書において数値範囲を示す場合、それは常に示す範囲内の任意の引用数(分数または整数)を含むことを意図する。第1の指示数と第2の指示数「との間の範囲」という表現と、第1の指示数「から」第2の指示数「までの範囲」という表現は、本明細書で代替可能に使用され、第1の指示数および第2の指示数と、それらの間の分数および整数の全部を含むことを意図する。
明確さのために別個の実施形態に関連して記載した本発明の所定の特徴はまた、1つの実施形態において、これら特徴を組み合わせて提供され得ることを理解されたい。逆に、簡潔さのために1つの実施形態に関連して記載した本発明の複数の特徴はまた、別々に、または任意の好適な部分的な組合せ、または適当な他の記載された実施形態に対しても提供され得る。さまざまな実施形態に関連して記載される所定の特徴は、その要素なしでは特定の実施形態が動作不能でない限り、その実施形態の必須要件であると捉えてはならない。
本発明をその特定の実施形態との関連で説明したが、多数の代替、修正および変種が当業者には明らかであろう。したがって、そのような代替、修正および変種のすべては、添付の特許請求の範囲の趣旨および広い範囲内に含まれることを意図するものである。
本明細書で言及したすべての刊行物、特許および特許出願は、個々の刊行物、特許および特許出願のそれぞれについて具体的且つ個別の参照により本明細書に組み込む場合と同程度に、それらの全体が参照により本明細書に組み込まれる。加えて、本願におけるいかなる参考文献の引用または特定は、このような参考文献が本発明の先行技術として使用できることの容認として解釈されるべきではない。また、各節の表題が使用される範囲において、必ずしも限定として解釈されるべきではない。さらに、本出願の任意の(1つまたは複数の)優先権書類は、その全体が参照により本明細書に組み込まれている。

Claims (21)

  1. 対象の個人の対象の解剖学的関心領域(ROI)を位置特定する、コンピュータによって実施される方法であって、
    3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を、均一にサブサンプリングすることと、
    前記複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力することと、
    前記複数の値および対応する連続的なインデックス番号に、線形モデルをフィットさせることと、
    前記線形モデルによって、前記複数の2D画像を前記正規化された解剖学的スケールにマッピングすることと、
    対象の個人の少なくとも1つの対象の解剖学的関心領域の指示情報を受信することであって、各対象の解剖学的関心領域が、前記正規化された解剖学的スケールにマッピングされる、受信することと、
    前記複数の2D画像のうち、前記受信された少なくとも1つの対象の解剖学的関心領域に対応する、前記正規化された解剖学的スケールの値を有するサブセット、を提供することと、
    を含む、コンピュータによって実施される方法。
  2. 特定の前記対象の解剖学的関心領域に対応する値を有する、前記複数の2D画像のそれぞれの前記サブセット、の分析に従って、患者の治療を計画すること、
    をさらに含む、請求項1に記載の方法。
  3. 特定の対象の解剖学的関心領域を分析するように設計されているコンピュータ支援診断(CAD)アプリケーションを、前記特定の対象の解剖学的関心領域に対応する値を有する、前記複数の2D画像のそれぞれの前記サブセット、に対して実行すること、
    をさらに含む、請求項1に記載の方法。
  4. 前記正規化された解剖学的スケールが、任意の人体の軸方向次元に沿った複数の等間隔位置の1次元座標系、を備えている、請求項1に記載の方法。
  5. 前記分類器が、前記複数のサンプリングされた2D画像それぞれを、複数の分類カテゴリのうちの少なくとも1つの分類カテゴリに分類し、前記複数の分類カテゴリが、前記正規化された解剖学的スケールに沿った複数の等間隔の値に対応する、請求項1に記載の方法。
  6. 前記分類器が、入力された2D画像と計算された値との間のマッピングの信頼度を示すマッピング信頼度スコアを計算し、前記マッピング信頼度スコアが拒否要件に従うとき、前記計算された値を拒否する、請求項1に記載の方法。
  7. 前記拒否要件が、1枚の2D画像に対する複数のピーク確率を持つベクトル、を含む、請求項6に記載の方法。
  8. 前記マッピング信頼度スコアが単一かつ狭い確率ベクトルを含むとき、前記2D画像が保持される、請求項6に記載の方法。
  9. 前記サンプリングされた2D画像それぞれの元のピクセル値が、前記分類器に入力される、請求項1に記載の方法。
  10. 前記複数の2D画像の総数が、約100〜2000枚であり、前記均一なサブサンプリングが、約10〜50枚の連続する2D画像ごとに1枚の2D画像を選択することによって実行され、前記サンプリングされた2D画像の数が約20〜50枚である、請求項1に記載の方法。
  11. 前記正規化された解剖学的スケールが、0から99を範囲とする連続する値の範囲であり、頭頂の正規化された位置が0に設定され、足の最下部が99に設定される、請求項1に記載の方法。
  12. 前記3D解剖学的ボリュームがCTスキャンであり、前記複数の2D画像が、前記CTスキャンのアキシャルスライスである、請求項1に記載の方法。
  13. 前記複数の2D画像が、前記3D解剖学的ボリュームに関連付けられるDICOM(登録商標)メタデータとは独立して、前記正規化された解剖学的スケールのそれぞれの値にマッピングされる、請求項1に記載の方法。
  14. 前記分類器が、複数のサンプル患者の3D解剖学的ボリュームの訓練データセットに従って訓練されており、各3D解剖学的ボリュームの複数の2D画像が、以下のプロセス、すなわち、
    上側2D画像および下側2D画像のそれぞれを、それぞれの描写されている定義済みの解剖学的ランドマークに対応する値でラベル付けし、前記上側2D画像と前記下側2D画像との間の2D画像を、前記上側2D画像の値と前記下側2D画像の値の線形補間によって計算される値でラベル付けするプロセス、
    によって計算される、正規化された解剖学的スケール上の値、でラベル付けされる、
    請求項1に記載の方法。
  15. 前記定義済みの解剖学的ランドマークおよび対応する値が、
    頭頂および0、側脳室および10.9、舌骨および12.6、上側胸骨および18.9、竜骨および21.1、下側心臓および28.0、第十二肋骨末端および36.6、上側骨盤骨および40.0、小転子および51.4、膝蓋骨および71.4、下側足部および100.0、
    からなる群から選択される、
    請求項14に記載の方法。
  16. それぞれの前記サンプリングされた2D画像の前記複数の値および対応する連続的なインデックス番号への前記線形モデルのフィットのフィットスコアを計算することであって、前記フィットスコアのフィットスコア要件が、前記値の計算におけるエラーを定義している、計算することと、
    前記フィットスコアが拒否要件を満たしているときに前記3D解剖学的ボリュームを拒否することと、
    をさらに含む、請求項1に記載の方法。
  17. 前記線形モデルが、強い外れ値を有するノイズの多いデータにフィットするように選択される、請求項1に記載の方法。
  18. 前記線形モデルが、RANSAC(Random Sample Consensus)プロセスに基づく、請求項17に記載の方法。
  19. 信頼性がない結果を定義する一連の規則が満たされるときに、前記3D解剖学的ボリュームを、さらなる処理から除外するように評価することであって、前記一連の規則が、前記線形モデルに対して計算されるフィットスコアと、前記サンプリングされた2D画像のサブセットに対して前記分類器によって計算される確率ベクトルとに基づく、評価すること、
    をさらに含む、請求項1に記載の方法。
  20. 対象の個人の対象の解剖学的関心領域(ROI)を位置特定するシステムであって、
    少なくとも1つのハードウェアプロセッサであって、以下、すなわち、
    3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を、均一にサブサンプリングすることと、
    前記複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力することと、
    前記複数の値および対応する連続的なインデックス番号に、線形モデルをフィットさせることと、
    前記線形モデルによって、前記複数の2D画像を前記正規化された解剖学的スケールにマッピングすることと、
    対象の個人の少なくとも1つの対象の解剖学的関心領域(ROI)の指示情報を受信することであって、各対象の解剖学的関心領域が前記正規化された解剖学的スケールにマッピングされる、受信することと、
    前記複数の2D画像のうち、前記受信された少なくとも1つの対象の解剖学的関心領域に対応する、前記正規化された解剖学的スケールの値を有するサブセット、を提供することと、
    のためのコード、を実行する前記少なくとも1つのハードウェアプロセッサ、
    を備えている、システム。
  21. 対象の個人の対象の解剖学的関心領域(ROI)を位置特定するためのコンピュータプログラム製品であって、
    少なくとも1つのハードウェアプロセッサによって実行するためのコードを格納している非一過性のメモリ、を備えており、前記コードが、以下、すなわち、
    3D解剖学的ボリューム内の連続するインデックス番号を有する複数の2D画像を均一にサブサンプリングすることと、
    前記複数のサンプリングされた2D画像を分類器に供給して、正規化された解剖学的スケール上の複数の値を出力することと、
    前記複数の値および対応する連続的なインデックス番号に線形モデルをフィットさせることと、
    前記線形モデルによって、前記複数の2D画像を前記正規化された解剖学的スケールにマッピングすることと、
    対象の個人の少なくとも1つの対象の解剖学的関心領域(ROI)の指示情報を受信することであって、各対象の解剖学的関心領域が前記正規化された解剖学的スケールにマッピングされる、受信することと、
    前記複数の2D画像のうち、前記受信された少なくとも1つの対象の解剖学的関心領域に対応する、前記正規化された解剖学的スケールの値を有するサブセット、を提供することと、
    のための命令、を含む、
    コンピュータプログラム製品。
JP2020062003A 2019-04-12 2020-03-31 3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法 Pending JP2020171687A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/382,235 2019-04-12
US16/382,235 US10878564B2 (en) 2019-04-12 2019-04-12 Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof

Publications (1)

Publication Number Publication Date
JP2020171687A true JP2020171687A (ja) 2020-10-22

Family

ID=70110044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020062003A Pending JP2020171687A (ja) 2019-04-12 2020-03-31 3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法

Country Status (3)

Country Link
US (1) US10878564B2 (ja)
EP (1) EP3722996A3 (ja)
JP (1) JP2020171687A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410302B2 (en) * 2019-10-31 2022-08-09 Tencent America LLC Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images
US11360734B1 (en) * 2021-09-24 2022-06-14 Shanghai Weiling Electronics Co., Ltd. Secure digital communication devices and secure digital communication systems using the same
KR102429640B1 (ko) * 2021-12-16 2022-08-05 주식회사 에프앤디파트너스 신체 영상의 관리 방법 및 이를 이용한 장치
US11948389B2 (en) * 2022-03-11 2024-04-02 Kanchan Ghimire Systems and methods for automatic detection of anatomical sites from tomographic images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961608B2 (en) * 2000-06-05 2005-11-01 Kabushiki Kaisha Toshiba Interventional MR imaging with detection and display of device position
US7893938B2 (en) * 2005-05-04 2011-02-22 Siemens Medical Solutions Usa, Inc. Rendering anatomical structures with their nearby surrounding area
TW200802171A (en) * 2006-06-20 2008-01-01 Sunplus Technology Co Ltd Image scaling system for saving memory
US7800367B2 (en) * 2008-04-02 2010-09-21 General Electric Co. Method and apparatus for generating T2* weighted magnetic resonance images
US8019042B2 (en) * 2008-04-22 2011-09-13 Siemens Medical Solutions Usa, Inc. Medical imaging processing and care planning system
US8422756B2 (en) * 2010-04-27 2013-04-16 Magnetic Resonance Innovations, Inc. Method of generating nuclear magnetic resonance images using susceptibility weighted imaging and susceptibility mapping (SWIM)
US8886283B1 (en) * 2011-06-21 2014-11-11 Stc.Unm 3D and 4D magnetic susceptibility tomography based on complex MR images

Also Published As

Publication number Publication date
US20200327661A1 (en) 2020-10-15
EP3722996A2 (en) 2020-10-14
US10878564B2 (en) 2020-12-29
EP3722996A3 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
EP3043318B1 (en) Analysis of medical images and creation of a report
RU2687760C2 (ru) Способ и система компьютерной стратификации пациентов на основе сложности случаев заболеваний
JP2020171687A (ja) 3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法
US20140341449A1 (en) Computer system and method for atlas-based consensual and consistent contouring of medical images
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
US20170221204A1 (en) Overlay Of Findings On Image Data
CN106796621B (zh) 图像报告注释识别
JP7080304B2 (ja) 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
US11669960B2 (en) Learning system, method, and program
US20230368893A1 (en) Image context aware medical recommendation engine
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
US10176569B2 (en) Multiple algorithm lesion segmentation
Phan et al. A Hounsfield value-based approach for automatic recognition of brain haemorrhage
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Lehmann et al. Strategies to configure image analysis algorithms for clinical usage
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US20240078089A1 (en) System and method with medical data computing
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
US11501442B2 (en) Comparison of a region of interest along a time series of images
US20230281810A1 (en) Image display apparatus, method, and program