JP2021504061A - 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム - Google Patents

脊椎骨折を識別するための３次元医用画像解析の方法及びシステム Download PDF

Info

Publication number
JP2021504061A
JP2021504061A JP2020529542A JP2020529542A JP2021504061A JP 2021504061 A JP2021504061 A JP 2021504061A JP 2020529542 A JP2020529542 A JP 2020529542A JP 2020529542 A JP2020529542 A JP 2020529542A JP 2021504061 A JP2021504061 A JP 2021504061A
Authority
JP
Japan
Prior art keywords
voxels
voxel
image
fracture
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529542A
Other languages
English (en)
Other versions
JP7241075B2 (ja
Inventor
ニコラス、ヨエリ
Original Assignee
ユーシービー バイオファルマ エスアールエル
ユーシービー バイオファルマ エスアールエル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーシービー バイオファルマ エスアールエル, ユーシービー バイオファルマ エスアールエル filed Critical ユーシービー バイオファルマ エスアールエル
Publication of JP2021504061A publication Critical patent/JP2021504061A/ja
Application granted granted Critical
Publication of JP7241075B2 publication Critical patent/JP7241075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/035—Mechanical aspects of CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本発明は、３Ｄ画像における骨折、より具体的には脊椎骨折の確率を推定するためのマシンベースの学習法を提供するものである。この方法及びシステムは、椎骨骨折を分類するために３Ｄ画像の特徴を学習するためのデータ駆動計算モデルを利用する方法を利用するものである。

Description

本発明は医用画像解析に関し、３Ｄ画像において、骨折、より具体的には脊椎骨折を識別するためのシステム及び方法を提供するものである。
骨粗鬆症は、骨格に影響を及ぼす疾病であり、骨が弱くなって骨折のリスクが高くなる。一般的な骨粗鬆症性骨折は、脊柱における椎骨、前腕の骨格、及び腰において生じる。３秒ごとに骨粗鬆症性骨折が発生しており、脊椎骨折が最も一般的である（Ｊｏｈｎｅｌｌ ｅｔ ａｌ．、２００６）。脊椎骨折は後の骨折の前兆となり、たとえば中程度又は重症の脊椎骨折の患者は、後の股関節の骨折のリスクが４．８〜６．７倍高くなる（Ｂｕｃｋｅｎｓ ｅｔ ａｌ．、２０１４）。Ｒｏｕｘ ｅｔ ａｌ．は、ありがちな軽症の脊椎骨折患者の４人のうち１人は、次の２年以内に再び骨折する可能性が高いことを実証した（Ｒｏｕｘ ｅｔ ａｌ．、２００７）。
自分が脊椎骨折していることに気づかない患者も多いため、脊椎骨折の臨床的評価は困難である。臨床的に注目される脊椎骨折はわずか１／３であり（Ｃｏｏｐｅｒ ｅｔ ａｌ．、１９９２）、脊柱を包含するＣＴにおいて脊椎骨折の５４％が放射線専門医によって過少報告されている（Ｍｉｔｃｈｅｌ ｅｔ ａｌ．、２０１７）と推定される。脊椎骨折の注意を喚起するとともに椎骨骨折検出に関する訓練を提供するための国際骨粗鬆症財団の事業をよそに、臨床施設における骨格介護者が有する、脊椎骨折患者の検査及び早期段階調査のための手段は僅かである。
放射線専門医向けの画像解析のための一般的な手法には、提起された質問に依拠して、３Ｄ画像の特定の２Ｄスライスを検討することが包含される。これによって、特定の質問に対する画像解析ステップが制限され、元の３Ｄ画像における潜在的価値のある情報が排除されてしまう。現在の放射線学の慣行では、脊椎骨折は、Ｇｅｎａｎｔの準量的脊椎骨折評価（ＶＦＡ：Ｖｅｒｔｅｂｒａｌ Ｆｒａｃｔｕｒｅ Ａｓｓｅｓｓｍｅｎｔ）法（Ｇｅｎａｎｔ ｅｔ ａｌ．、１９９３）に従って類別される。この方法は、Ｘ線画像における、又は３Ｄ画像モダリティ（ＣＴ、ＭＲ）の正中矢状面における／正中矢状面のまわりの、椎体の形態を評価するものである。Ｂｕｃｋｅｎｓ ｅｔ ａｌ．（２０１３）で報告されているように、胸ＣＴに関する観察者内及び観察者間の信頼性並びに準量的ＶＦＡの合意は、患者レベル及び椎骨レベルで、決して些細なことではない。
椎骨の圧迫骨折は、様相及び程度において大幅に変化する（Ｓｃｈｗａｒｔｚ ａｎｄ Ｓｔｅｉｎｂｅｒｇ、２００５）。脊椎骨折検出に関する大多数の刊行物は、放射線専門医がＧｅｎａｎｔの分類を適用するやり方によって着想されており、最初に椎骨を高精度でセグメント化し、次に終板を検出して、最後に、脊椎骨折を検出するために、各椎骨の高さ損失を定量化することを試行するものである。
米国特許第８，１２６，２４９号には、骨粗鬆症性骨折を検出するための形状ベースのモデル法が開示されている。Ｋｌｉｎｄｅｒ ｅｔ ａｌ．（２００９）は、ＣＴにおける椎骨を自動的に検出し、識別して、セグメント化するために、モデルベースの手法を適用するものである。この方法は、１つのＳｉｅｍｅｎｓ ＭＤＣＴスキャナ上で調査された８０人の患者を包含する横断的で長期にわたる研究において臨床的に検証されている。Ｇｅｎａｎｔ分類に従ってＴ５からＬ５まで等級付けされた脊椎骨折を報告するために、前部、中央及び後部の高さ減少が使用される。Ｂａｕｍ ｅｔ ａｌ．（２０１４）は、ＭＤＣＴ試験ごとに平均して５０分の高さ比及び実行性能に関するＲＯＣ解析を用いて、この方法に関する結果を報告している。Ｙａｏ ｅｔ ａｌ．（２０１２）は、ＣＴに存在する３Ｄ情報を活用する軸方向ｈｅｉｇｈｔ ｃｏｍｐａｓｓを使用して、圧迫骨折を検出して局在化するものである。この方法は、等級及びタイプによってＴ１からＬ５までの椎骨の圧迫骨折の解剖学的局在化及び分類を報告する、対照群を伴う１５０人の患者を包含する横断的研究において最近論じられている（Ｂｕｒｎｓ ｅｔ ａｌ．、２０１７）。この研究は、胸や腰の椎体が骨折している２１０人を含む１２７５人の個人の椎骨のデータセットを使用して、９５．７％の感度及び４３の偽陽性所見で脊椎骨折の検出を報告している。これらの結果は、椎骨骨折のカスタム定義（最小で１０％の高さ損失）に基礎を置くものである。最近の刊行物（Ｂａｒらの文献、２０１７年）は、ＣＴで患者レベルの圧迫骨折を検出するための畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）及び再帰型ニューラル・ネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の使用について論じている。このアルゴリズムは、セグメント化された脊柱から抽出された矢状パッチ上の２Ｄ ＣＮＮを使用して、局在化も骨折数のカウントもすることなく、患者画像における１つ又は複数の脊椎骨折の存在を予測するものである。
Ｂｕｃｋｅｎｓ ｅｔ ａｌ．（２０１３）は、３つの患者レベルの測度及び２つの椎骨レベルの測度を使用して、ＣＴ上のＶＦＡの観察者内及び観察者間の変動性及び信頼性について論じている。この著者は、結果が、容認できる再現性を明示すると結論しているが、データセットが使用している画像の数（５０）及び椎骨骨折（２〜４％）は限られたものである。提示された結果を詳細に解析すると、教師付き学習を使用するデータ駆動型の方法は放射線専門医（のグループ）によって提供された読出しにおけるかなりのノイズに対処する必要があることが示される。
臨床撮像データ量が着実に増加し続けているので、３次元画像処理システム及び方法の開発は、観察者間の変動性を低減して脊椎骨折の検査を可能にするための、臨床の重要な技術的課題である。本発明は、骨構造の詳細なセグメント化を実行することなく、３Ｄ画像において骨折を自動検出するために画像における特定のデータを解析する３次元画像処理方法を提供することによって、コンピュータ環境における技術的解決策を提供するものである。
米国特許第８，１２６，２４９号
ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／Ｋａｍｎｉｔｓａｓｋ／ｄｅｅｐｍｅｄｉｃ
本発明が提供する、被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムは、
前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、
計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、
前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える。
本発明がさらに提供する医用画像ワークステーションは、被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、少なくとも１つの生成された画像において前記被検者の脊椎骨折の存在を予測するための本明細書で開示されたようなシステムとを備える。
本発明は個人の脊椎骨折の存在を予測する３次元医用画像解析方法をさらに提供するものであり、前記方法は、
脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む。
本発明は、この方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体も提供するものであり、コンピュータは、この命令を実行することにより、個人における脊椎骨折の存在を予測するための方法を実行する。
本発明は、以下の図面を参照することによって以下で説明される。
３Ｄ画像において骨折を識別するためのシステムのブロック図である。 ３Ｄ画像において骨折を識別するための方法のブロック図である。 追加要素を備える、骨折を識別するためのシステムの概略図である。 本発明の撮像ワークステーションの概略図である。 ３Ｄ画像プロセッサの動作ステップを表す流れ図である。 脊髄探知器の動作ステップを表す流れ図である。 ボクセル分類器の動作ステップを表す流れ図である。 椎骨探知器の動作ステップを表す流れ図である。 椎骨の解剖学的ラベル割当て器の動作ステップを表す流れ図である。 椎骨分類器の動作ステップを表す流れ図である。 画像分類器の動作ステップを表す流れ図である。 ボクセル及び最終的画像を分類するためのＣＮＮの設計を示す図である。 本明細書で説明された方法を使用する４重の相互検証試験結果であり、手動の椎骨レベルの誤差解析の後の脊柱に沿った誤差の分布を示す図である。ＦＮは偽陰性又は見逃しであり、ＦＰは偽陽性又は誤警報である。 方法が、異なる骨折等級を有する骨折した椎骨並びにすべての正常な椎骨を正確に分類したサンプル画像を示す図である。
本発明は、機械学習法を使用して撮像データを解析し、３Ｄ画像、より具体的にはＣＴ画像において骨折を予測するものである。
詳細には、本発明が提供する、被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムは、前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える。任意選択で、そのようなシステムは、前記画像の脊髄を含む部分を検出するための脊髄検出器（１０２）をさらに備え得る。これにより、解析して分類されるボクセルの数が減少され得て、コンピュータ処理時間が大幅に短縮される。
システムの要素の各々は、ステップの特定のセットを実行するサブシステムである。サブシステム（要素）の各々に関する例示のステップが、図５〜図１２に示されている。そのようなサブシステムの各々が、１つ又は複数の入力データ（又は信号）及び１つ又は複数の出力を有することができる。
図１は、被検者における脊椎骨折の存在を予測するための３次元医用画像解析システムの態様を図示するブロック図である。本開示に関連する要素のみが図示されている。システムは、たとえば適切な１つ又は複数のマイクロプロセッサを使用して実施され得る。図３にはシステムの追加要素が図示されている。たとえば、前記マイクロプロセッサ上でシステムを実施するためのコンピュータ・プログラムは、コンピュータ可読媒体で提供される。前記システムは、ソフトウェアを記憶するためのメモリと、データを記憶するためのメモリと、たとえば有線又は無線のネットワーク接続で他のデバイスと通信するための通信ポートとを備え得る。そのようなポートは、画像データを受け取って、システムによって生成されたデータ及び処理された信号を供給するように使用され得る。このシステムは、ユーザ・インターフェースと、ユーザ・インターフェースと相互作用するためのユーザ入力デバイスとをさらに備え得る。そのようなシステムは、システムによって生成された３Ｄ画像及び結果を表示するように使用され得る。
画像プロセッサ（１０１）は、受け取った３Ｄ画像データを３Ｄボクセルのセットへと切断する。画像プロセッサ（１０１）は、コンピュータ・ネットワーク又は画像ソースと相互作用するように構成された別の通信ポートを介して前記３Ｄ画像を受け取ることができる。そのような画像ソースは、撮像データベース、撮像コンピュータ、又はそのような画像を記録する撮像装置でよい。３Ｄ画像データは画像強度を含み得、前記画像強度は信号のダイナミック・レンジを有する。
一実施例では、画像プロセッサ（１０１）は１ｍｍ３の等方性ボクセルのセットを生成する。もう一つの実施例では、画像プロセッサは、第１のサイズの第１のボクセルのセット及び第２のサイズの第２のボクセルのセットを含む、同一の画像の全体を表すボクセルの２つのセットを生成する。一実施例では、第１のボクセルはそれぞれ１ｍｍ３の等方性ボクセルでよく、第２のボクセルはそれぞれ３ｍｍ３の等方性ボクセルでよい。そのような等方サイズによって後続のステップが大幅に簡素化される。特定の一実施例では、画像プロセッサ（１０１）は３Ｄボクセルのセットを出力し、前記３Ｄボクセルは異方性ボクセルである。
別の実施例では、前記画像プロセッサ（１０１）は、前記ボクセルの強度の平均値及び単位標準偏差に正規化された３Ｄボクセルのセットを出力する。画像におけるボクセル強度は、ゼロ平均値及び単位分散に正規化される。これら追加の前処理ステップは、ボクセル分類器（１０４）に均一な強度及び規模をもたらし、計算モデルが、この強度正規化をサブタスクとして学習するのを回避する。そのような画像前処理ステップが実行されなければ、機械学習モデルは、訓練データセットにおけるこの強度正規化を前もって暗黙のうちに学習しなければならないことになる。そうしないと、機械学習モデルは、異なる画像間の強度範囲における変動によって「オフセット」され、タスクに関連する一般化された画像特徴を学習してしまうことになる。
脊髄検出器（１０２）は、前記画像データにおいて脊髄を概略的に突き止めるために最大の信号強度を使用する。詳細には、信号強度は、累積分布関数（ＣＤＦ：Ｃｕｍｕｌａｔｉｖｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）≧０．９８９５を使用して処理され得る。ＣＤＦは、確率変数（この場合信号強度）の値を見いだす確率を出力する統計関数である。脊髄検出器は非常に高いＣＤＦ値を伴う強度を考慮に入れることによって骨密度（ＣＴにおける非常に高い強度値）を突き止める。画像強度値だけを使用するのと比較して、ＣＤＦを使用することの利点は、その頑健性にある。強度値だけを使用すると、強度値に対して単純な閾値しか用意できないが、異なるスキャナは骨組織に関して少し異なる強度値をもたらし、これによって解析の精度が低下する可能性がある。ＣＤＦを使用すると、強度のダイナミック・レンジを考慮に入れることが可能になり、解析がより頑健になる。さらに、脊髄検出器（１０２）は、ｘ軸、ｙ軸及びｚ軸に沿って脊髄を粗く突き止めるために解剖学的事前情報を使用し得る。腹部及び胸部のＣＴ試験は、すべての組織を取り込んで広範囲にわたる兆候を解析するための広い視野を含有している。原理的に、ボクセル分類は画像のすべてのボクセルに対して実行され得る。本発明は、肺、肋骨、及び他の関係ない解剖学的構造におけるボクセルに関する無用の計算を回避するために、脊柱のまわりのボクセルに的を絞るものである。
脊髄検出器（１０２）は、ＣＴ画像における脊柱に関して有効な信号強度及びロケーション・プライアを利用することができる。より具体的には、脊柱境界を突き止めるために前述のように高強度の骨格強度が識別され得、これを改良して、脊柱がｘ軸（左から右）に沿って中心にあり、（重症の側弯症を除いて）身体に沿って後部にあることをさらに観測する。脊髄検出によって生成された出力画像は脊柱が切り取った体積であり、これによって、下流のステップでさらに処理するべきボクセルの体積が平均して１／１５に縮小する。
ボクセル分類器（１０４）は、３Ｄ画像データを、脊髄検出器（１０２）から、たとえば、脊柱によって切り取られた、それぞれが異なるボクセルサイズを有する少なくとも２つの出力画像の形態で、又は、３Ｄ画像プロセッサ（１０１）から直接、たとえばそれぞれが異なるボクセルサイズを有する少なくとも２つの画像（２つの画像データセット）の形態で、受け取ることができる。
特定の実施例では、ボクセル分類器（１０４）は、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットの、前記ボクセルの各々を分類する。
より具体的な実施例では、ボクセル分類器（１０４）は、周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、前記ボクセルの３０〜４０ｍｍ３のコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第１のセットに分類し、前記ボクセルの９０〜１２０ｍｍ３のコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第２のセットに分類する。具体的には、３Ｄボクセルの第１のセットは１ｍｍ３の等方性ボクセルのセットであり、３Ｄボクセルの第２のセットは３ｍｍ３の等方性ボクセルのセットである。
特定の実施例では、ボクセル分類器（１０４）は畳み込みニューラル・ネットワーク（ＣＮＮ）を利用する。そのようなネットワークの例示のセットが図３に与えられている。ＣＮＮは、分類タスク、対象物検出タスク及びセグメント化タスクにうまく適用されている。ＣＮＮアーキテクチャは様々な２Ｄ画像タスクに適用されており、バッチ正規化（Ｉｏｆｆｅ ａｎｄ Ｓｚｅｇｅｄｙ、２０１５）、開始モジュール（Ｓｚｅｇｅｄｙ ｅｔ ａｌ．、２０１５）及び残留接続（Ｈｅ ｅｔ ａｌ．、２０１６）などの改善は、ＩｍａｇｅＮｅｔ競技（自然画像の中の対象物の分類）において、人間のレベルをしのいで性能を押し進めた。意外にも、公開された方法のうち、ＣＴ及びＭＲＩで入手可能な３Ｄデータ構造を十分に利用するものはほんの僅かであった。Ｃｉｃｅｋ ｅｔ ａｌ．（２０１６）及びＫａｍｎｉｔｓａｓ ｅｔ ａｌ．（２０１７）からの最近の研究は、向上したメモリ及び計算に対処するように最適化されたアーキテクチャを用いて、３Ｄ ＣＮＮを顕微鏡検査法及びＭＲＩ画像にうまく適用している。
ＣＮＮを構築する層は、それぞれが全体の入力画像にわたってフィルタ・ウィンドウをスライドさせる畳み込みを使用して個々のボクセルを処理する。フィルタ・サイズは、中心ボクセルの出力に寄与するボクセルの数を決定する（たとえば、３×３×３のサイズの３Ｄフィルタは、中心ボクセルが、すべての近隣ボクセルからの強度の加重和を出力することを意味する）。一般的には、すべての層が、様々な特徴を学習するために複数のフィルタを有し、ＣＮＮは、十分に大きい受容フィールドを構築するために多層から成る。受容フィールドは、最後のＣＮＮ層から見える構造のサイズと解釈され得る。
分類のためのＣＮＮネットワークは、一般的には、その終端に、完全に接続された２つの層及び分類層を有する。すべての層はエンドツーエンドで訓練され、このことは、学習された特徴が当面の分類にとって有意義であることを意味する。ＣＮＮは、１つのデータセット上でモデルをうまく訓練して、異なるタスクに取り組むためにこれらの特徴を伝達することが公表された後に、多くの関心を得ている。この伝達学習手法は、第１のＣＮＮ層が一般的な特徴（たとえばエッジ及びコーナー）を学習し、上位のＣＮＮ層が、当面のタスクに適する、より具体的な特徴（たとえば猫の顔又は自動車ホイールの形状）へとこれらを組み合わせる、という観測に基礎を置くものである。
特定の実施例では、ボクセル分類器（１０４）は、ニューラル・ネットワーク層のセット備えるＣＮＮを利用し、ニューラル・ネットワーク層のシーケンスは、ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
１つ又は複数の畳み込み層は２つの畳み込み層として設計され得る。開始において（それぞれが異なるサイズで同一の量のボクセルを有する）２つのボクセルのセットを使用すると、２つの畳み込まれた出力をもたらすことになる。ボクセルの各セットはそれ自体の個別のＣＮＮネットワークを使用して解析される。
１つ又は複数の接続された層により、ボクセルのセットの各々から生成された出力を集約することが可能になる。１つ又は複数の畳み込み層からの畳み込まれた出力は、学習された特徴と解釈され得る。（２つのＣＮＮネットワークによって解析された）ボクセルの２つのセットを使用すると、異なるコンテキストで学習された特徴の２つのセットを生成することになる（たとえば、一方は高分解能の画像を注視し、他方は画像のより大きな部分、より低い分解能の／より不明瞭な画像を注視する）。１つ又は複数の接続された層は、これらの特徴を、一緒に、１つの大きな特徴ベクトルに付加するかそうでなければ積み重ねる。最後の完全に接続された層は、最後の分類層（次のバレット）が、すべてのクラス向けに１つの確率を出力し、これを入力画像におけるすべてのボクセル向けに出力するように、これらの特徴ベクトルをもう一度処理する（非線形動作）（そのため、同ボクセルの確率１は背景ボクセルであり、同ボクセルの確率２は正常な椎骨ボクセルであり、同ボクセルの確率３は骨折した椎骨ボクセルである）。
分類層の出力は各クラスに関する確率値である。Ｎ×Ｍ×Ｋのボクセル（３Ｄ）を含む入力画像については、出力はＮ×Ｍ×Ｋのボクセルであり、それぞれがすべてのクラスについて１つの確率値を含有している。
ＣＮＮは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたＣＮＮは、
前記１つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層とをさらに備える。
より具体的には、ＣＮＮは、３３ボクセルのサイズを有するスライドするフィルタを使用する。
より具体的には、望ましい一実施例によれば、分類に使用されるＣＮＮが含む１７の畳み込み層は、通常の経路（１ｍｍ３のボクセルの第１のセット）における３５３の有効な受容フィールドと、サブサンプルの経路（３ｍｍ３のボクセルの第２のセット）における１０５３の有効な受容フィールドとを得るための、サイズ３３の各フィルタを有する（図１２）。この選択は、平均的な人間の椎骨の幅が最大５４ｍｍであるという経験的観察によるものであり、よって、あらゆる椎骨ボクセルを評価するとき、椎骨の内部のすべてのボクセルが寄与するように、最小１００ボクセルの受容フィールド（等方性の１ｍｍ３の入力画像）が必要とされる。通常の経路とサブサンプルの経路がともに積み重ねられた後に畳み込み層を追加すると、結果が平滑になり、システムの性能がさらに改善される。
ボクセル分類器（１０４）は、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによって各ボクセルを分類する。任意の適切な分類器が選択されてよい。当業者には様々な分類手法が周知である。それぞれの特定の分類器が、システムの各構成要素における調節を必要とする可能性がある。特定の実施例では、ボクセル分類器（１０４）は、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることにより、ボクセルのグループにおけるそれぞれのボクセルを分類する。
特定の実施例では、ボクセル分類器（１０４）は、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する。
特定の実施例では、ボクセル分類器（１０４）は、注釈を付けてボクセルに分割された入力３Ｄ画像のセットを使用して事前訓練され、各３Ｄボクセルにはｘ軸、ｙ軸及びｚ軸に沿って強度ノイズ信号が付加される。入力強度に対してノイズを付加し、Ｘ軸、Ｙ軸及びＺ軸にわたって画像をランダムに除去することにより、データ拡大が実行される。これによって、入力画像における激しい変動性（様々なスキャナ、様々な患者位置）に対処するためのシステムの頑健性が向上する。
特定の実施例では、ＣＮＮを利用するボクセル分類器（１０４）は、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景：正常：骨折の比が１：３：３になり得るようなサンプル抽出比を使用し、注釈付きの入力３Ｄ画像のセットを使用して事前訓練される。そのような比を使用すると、最初に背景を除去し、次いで正常な椎骨と骨折した椎骨の区別に注目するための十分な実例が可能になる。
残留接続（Ｈｅ ｅｔ ａｌ．、２０１６）、バッチ正規化（Ｉｏｆｆｅ ａｎｄ Ｓｚｅｇｅｄｙ、２０１５）及びパラメトリック整流線形ユニット（ＰＲｅＬＵ：ｐａｒａｍｅｔｒｉｃ ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）の非線形性（Ｈｅ ｅｔ ａｌ．、２０１５）などの技術がＣＮＮに適用され得る。０．００１の学習率を指数関数的にアニールして、３５のエポックに関して訓練するために、ＲｍｓＰｒｏｐ最適化プログラム、Ｌ１及びＬ２正則化が適用され得る。
分類ネットワークは、たとえばＫａｍｎｉｔｓａｓ ｅｔ ａｌ．（２０１７）で説明されているような３Ｄ ＣＮＮ、Ｔｈｅａｎｏ（Ｇｉｔｈｕｂ上で利用可能なコードベース）で構築されたボクセル分類パイプラインを使用して実施され得る。クラスの不均衡に対処し、通常の経路とサブアンプルの経路の組合せを生成してコンテキストを増加させ、最終的に、画像セグメント上での密なトレーニング計画を生成して、そのような３Ｄ ＣＮＮで観察されるメモリ及び計算の制約に対処するために、重み付けされたサンプリングを実行するように、ＤｅｅｐＭｅｄｉｃソフトウェア（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／Ｋａｍｎｉｔｓａｓｋ／ｄｅｅｐｍｅｄｉｃ）が使用され得る。
ＣＮＮは、半手動の方法を使用して生成することができる訓練データセットを使用して訓練され得る。教師付き学習手法を使用するボクセル分類は、ボクセルごとに１つのラベルを必要とする。これは、分類を実行するために画像ごとに１時間超を要する可能性がある非常に割高なラベル付けタスクである。
そのような分類の可能なやり方の１つには、Ｇｌｏｃｋｅｒ ｅｔ ａｌ．（２０１３）で説明されている、画像ごとの手動の注釈時間を平均で２分に短縮する、まばらな注釈方式からの密な分類を使用するものがある。この方式は、椎骨の重心座標ｃｖのまわりにガウス重心の尤度関数ψｖを当てはめるものである。重心座標は、手動注釈によって与えられる（自由パラメータｈｖは、オーバラップしないポイントのクラウドを用いてすべての椎骨をうまくカバーするように実験的に決定される）。椎骨ごとに１つの重心ポイントを手動で注釈すれば、すべての椎骨について密なラベル・ポイントのクラウドを構築するのに十分である。視野ｖにおける椎骨のリストは動的であり、入力画像に依拠するものである。
読出しは、視野内に存在する椎骨ごとに１つのＧｅｎａｎｔ分類に制限され、ラベル画像Ｌは、脊柱によって切り取られた強度画像Ｉと同一の寸法を用いて自動的に生成される。説明された技法を用いてもたらされるラベル画像は、完全なボクセルのものではないが、そのような方法は、当面の検出タスクにとって十分に正確である。このステップは、背景ボクセルについては０、正常な椎骨ボクセルについては１、椎骨骨折ボクセルについては２の強度値を有する入力画像Ｉと同一のサイズ（寸法）を有する３Ｄ画像Ｌを生成する。ボクセル強度は、上記の方法のように半自動で生成される。このステップの結果は、Ｋ対の画像Ｉ及びラベル画像Ｌを有する訓練データベースであり、ＣＮＮ分類器に供給され得る。
骨折確率推定器（１０３）は、画像に存在する椎骨骨折の確率の推定をもたらすために、場合により他の付加情報と組み合わされたボクセル分類出力を使用するサブシステムである。そのような確率は、全体画像又は画像の一部分に対してもたらされ得る。
特定の実施例では、骨折確率推定器（１０３）は画像分類器（１０８）を備える。画像分類器（１０８）は前記３Ｄ画像を骨折の有／無で分類するように構成されており、ボクセル分類器（１０４）から前記３Ｄ画像の各ボクセルに関する入力を受け取って、前記３Ｄ画像に関する集約された確率値の出力をもたらし、そのような集約された確率は、性能メトリック（たとえば感度／特異性又は精度／再現度）を最適化することによって実験的に推定される。或いは、骨折クラスの確率を割り当てられたボクセルの数のカウントが使用され得る。
別の実施例では、画像分類器（１０８）は、骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて３Ｄ画像を分類するように構成されている。
別の実施例では、骨折確率推定器（１０３）は、３Ｄ画像における椎骨探知器（１０５）を備える。骨折確率推定器（１０３）は、椎骨探知器（１０５）と、椎骨の解剖学的ラベル割当て器（１０６）とを備え得る。
別の実施例では、骨折確率推定器（１０３）は、３Ｄ画像における各椎骨について、骨折している確率を出力する椎骨分類器（１０７）をさらに備え得る。そのような分類器は、椎骨探知器（１０５）及び椎骨の解剖学的ラベル割当て器（１０６）と連携するように構成され得る。椎骨探知器（１０５）は、３Ｄ画像内の各椎骨の重心座標を生成するように構成され得る。椎骨の解剖学的ラベル割当て器（１０６）は、３Ｄ画像における各椎骨に対して解剖学的レベル情報を割り当てるように使用され得る。そのような情報は、予測結果の可視化を支援するのに有効であり得る。椎骨分類器（１０７）は、すべての構成要素を、入力画像に存在するすべての椎骨（これらはこの方法によって自動的に検出される）に関する、骨折ラベル（たとえば正常な椎骨又は骨折した椎骨）、椎骨重心（３Ｄ空間における局在化）、椎骨の解剖学的ラベル（たとえばＬ５、Ｌ１、Ｔ１２など）といった解答へと組み合わせる。そのため、椎骨分類器（１０７）は、３Ｄ画像全体（１０８の出力）について１つの椎骨骨折予測をもたらすのではなく、存在する椎骨ごとに骨折予測をもたらし、この椎骨を画像において局在化する（空間において物理的に局在化するとともに、解剖学的ラベルを使用することによって局在化する）。
本発明がさらに提供する医用撮像ワークステーションは、被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、少なくとも１つの生成された画像において前記被検者の脊椎骨折のリスクを予測するための本明細書で説明されたようなシステムとを備える。そのような装置は、画像を選択してシステムの出力を調査するためのスクリーン及び入力デバイスを有するデバイスの形態であり得る。このシステムは、コンピュータ・ネットワークを介して遠隔で撮像装置と相互作用することもできる。そのような撮像ワークステーションの要素は様々なサーバ間に分散してよく、データベース・システムは、撮像データ、計算モデル、システムの様々な要素の中間出力を記憶するため、並びに最終出力を記憶するために使用され得る。そのようなデータベース・システムも様々なサーバ間に分散してよく、様々なサーバ上に様々なデータが記憶され得る。
本発明は個人の脊椎骨折の存在を予測する３次元医用画像解析方法も提供するものであり、前記方法は、
脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む。
特定の実施例では、この方法は、前記画像の中で脊髄を突き止めるステップ（２０３）と、脊髄を含むボクセルの各セットの脊柱によって切り取られた出力画像を生成するステップと、脊髄を含むボクセルのセットを出力するステップとをさらに含む。そのようなステップは画像処理ステップ（２０２）に続くことになる。
特定の実施例では、３Ｄ撮像情報はコンピュータ・ネットワークを介して受け取られる。或いは、そのような撮像情報は、画像情報生成デバイス又はシステムと通信するように構成された通信ポートを介して受け取られる。より詳細には、撮像情報は医用画像データベースに記憶されている。
この方法のより具体的な実施例では、ボクセル分類は、訓練データセットを使用して訓練されたモデルを使用して実行され、訓練データセットは、
ｉ．ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
ｉｉ．ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
ｉｉｉ．選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
ｉｖ．訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成されたものである。
より具体的には、計算モデルは事前注釈付きの画像のセット上で訓練される。そのような画像は、重心座標を手動で突き止めること、及びそれに続くガウス重心の尤度関数の適用に頼る前述の方法を使用して注釈されてよい。その上、そのような画像に分類ラベルを割り当てるために、熟達者によって椎骨状態が評価される。そのような分類ラベルは正常若しくは骨折でよく、又は骨折の等級も指示し得る。
特定の実施例では、計算モデルは、ボクセルのセットに分割された事前注釈付き画像のセット上で訓練される。一実施例では、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズ信号が付加される。
別の実施例では、前記画像の中で脊髄を突き止めるステップ（２０３）は、前記画像データの中で脊髄を突き止めるために最大の信号強度の識別に基づくものである。詳細には、信号強度は、前述のように累積分布関数（ＣＤＦ）≧０．９８９５を使用して処理され得る。或いは、前記画像の中で脊髄を突き止めるステップ（２０３）は、ｘ軸、ｙ軸及びｚ軸に沿って脊髄を粗く突き止めるために、解剖学的事前情報をさらに使用することができる。
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、１ｍｍ３の等方性ボクセルである３Ｄボクセルのセットを出力する。そのようなサイズは前述の理由で有利である。
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、異方性ボクセルである３Ｄボクセルのセットを出力する。
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、前記ボクセルの強度を平均値及び単位標準偏差へと正規化するステップをさらに含む。
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズ信号を付加するステップをさらに含む。
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む。
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ボクセルの周囲のセットのコンテキストでは、各セットの前記３Ｄボクセルの各々の２つの分類を含む。より具体的には、前記ボクセルの各々のそのような分類は、周囲のボクセルのコンテキストで実行され、３０〜４０ｍｍ３の前記ボクセルのコンテキストではボクセルの各々を第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストではボクセルの各々を第２のセットに分類する。特定の実施例では、第１のセットは３５ｍｍ３の前記ボクセルのコンテキストで分類され、第２のセットは１０５ｍｍ３の前記ボクセルのコンテキストで分類される。より具体的には、この場合、ボクセルの第１のセットは１ｍｍ３のボクセルのセットであり、ボクセルの第２のセットは３ｍｍ３のボクセルのセットである。
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによってボクセルのグループにおける各ボクセルを分類するために、分類器を使用する。
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、画像における各ボクセルについて、背景クラス、正常クラス、骨折クラスと分類される出力確率を生成する。
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ（２０６）は、前記３Ｄ画像を、骨折の有／無に分類することを含み、前記ステップは、前記３Ｄ画像の各ボクセルに関する計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）から、入力分類値を受け取り、前記ステップは、前記３Ｄ画像に関する集約された確率値の出力をもたらす。
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ（２０６）は、割り当てられた骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記３Ｄ画像の分類を含む。
別の実施例では、この方法は、画像において椎骨を突き止めるステップと、３Ｄ画像に存在する椎骨にラベルを割り当てるステップとをさらに含む。
別の実施例では、この方法は、３Ｄ画像に存在する椎骨にラベルを割り当てるステップをさらに含む。
別の実施例では、この方法は、前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む。より具体的には、椎骨を突き止めるステップは、前記３Ｄ画像の内部に各椎骨の重心座標を生成する。
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである。より具体的には、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ニューラル・ネットワーク層のセットは、
ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
ボクセルの各セットについて、前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
ＣＮＮは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたＣＮＮは、
前記１つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層とをさらに備える。この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ＣＮＮは、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景：正常：骨折の比が１：３：３になり得るようなサンプル抽出比を使用し、注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている。
この方法の別の実施例では、前記３Ｄ画像データは画像強度を含み、前記画像強度は信号のダイナミック・レンジを有する。
本発明は、本発明のシステム及び方法を実現するように適合されたコンピュータ・プログラム、特にキャリア上又はキャリア内のコンピュータ・プログラムにも適応することが理解されよう。本発明は、本明細書で説明された方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体をさらに提供するものであり、コンピュータは、この命令を実行することにより、本明細書で説明されたように、個人における骨粗鬆症性骨折のリスクを予測するための方法を実行する。本発明は、本明細書で説明されたシステムの要素に関するコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
コンピュータ・プログラムは、ソース・コード、オブジェクト・コード、コードの中間ソースの形態でよい。プログラムは部分的にコンパイルされた形態でよく、又はこの方法の実装形態において用いるのに適切な何らかの他の形態でよく、本発明に応じて変化する。そのようなプログラムは様々なアーキテクチャ上の設計を有し得る。本発明による方法又はシステムの機能性を実施するプログラム・コードは、１つ又は複数のサブルーチン又はサブコンポーネントに細分され得る。これらのサブルーチンの間で機能性を分配する様々なやり方が存在し、当業者には既知であろう。各サブルーチンが１つの実行可能ファイルに一緒に記憶されてよく、自己完結プログラムを形成する。或いは、サブルーチンのうち１つ若しくは複数又はすべてが、少なくとも１つの外部ライブラリ・ファイルに記憶されて、たとえば実行時に主プログラムと静的又は動的にリンクされてもよい。主プログラムは、サブルーチンのうち少なくとも１つに対する少なくとも１つのコールを含有している。サブルーチンが互いにコールしてもよい。
本発明は、本明細書で明らかにされた方法のステップ、又は本明細書で明らかにされたようなその変形形態を実施するコンピュータ実行可能命令を含むコンピュータ・プログラム製品をさらに提供するものである。これらの命令は、サブルーチンに細分されてよく、且つ／又は、静的若しくは動的にリンクされ得る１つ若しく複数のファイルに記憶されてよい。コンピュータ・プログラム製品に関連した別の実施例は、システムのうち少なくとも１つの各手段に対応するコンピュータ実行可能命令及び／又は本明細書で明らかにされた製品を含む。これらの命令は、サブルーチンに細分されてよく、且つ／又は１つ若しくは複数のファイルに記憶されてよい。
前述の実施例は本発明を制限するのではなく例証するものであり、当業者なら、特許請求の範囲から逸脱することなく、多くの代替実施例を設計し得ることに留意されたい。特許請求の範囲では、かっこの間に配置されたいかなる引用符号も、請求項を制限するようには解釈されないものとする。「備える」という動詞及びその語形変化の使用は、請求項において明示されたもの以外の要素又はステップの存在を除外することはない。
要素の前の「１つの（ａ）」又は「１つの（ａｎ）」という冠詞は、そのような要素の複数の存在を除外することはない。本発明は、いくつかの別個の要素を備えるハードウェア及び適切にプログラムされたコンピュータによって実施され得るものである。いくつかの要素を列挙しているシステムの請求項では、これらの要素（サブシステム）のうちいくつかは、ハードウェアの全く同一の項目によって具現され得る。ある手段が互いに異なる従属請求項に詳述されているという単なる事実は、これらの手段の組合せが使用不可能であることを示すわけではない。
実例
「実例１」ＣＴ画像のセット上の脊椎骨折を識別するためのシステムの性能。
本明細書で説明された方法のために、１つの大学病院のイメージングデータベースから、一連の腹部及び胸部のＣＴ試験の１２０の匿名化された画像が使用された。これらの画像は、７０歳を超える様々な兆候を有する患者（７０歳〜１０１歳、平均年齢は８１歳、６４％が女性患者）を含めて、４つの別々のスキャナ（Ｓｉｅｍｅｎｓ、Ｐｈｉｌｉｐｓ及び２つのタイプのＧＥスキャナ）で、２０１７年の２月及び３月に取得されたものである。結果として、このデータセットは、プロトコルの種々雑多な範囲、再構成フォーマット及びこの患者集団に対する臨床診療からのサンプルを表す患者を含有している。椎骨分布は、２２８（１８．７％）の骨折を含む合計１２１９の椎骨を含有している。このデータセットは、視野内のすべての椎骨に対してＧｅｎａｎｔ等級（正常、軽症、中程度、重症）を与える１人の放射線専門医（Ｓ．Ｒ．）によって監督された。
表１は、本明細書で説明された技法を使用して、データセット上で４重の相互検証を使用した患者レベルの予測結果を概括するものである。この場合、モデルを訓練するために使用されるデータセットが患者のサブセットに対する腹部試験と胸部試験の両方を含有しているため、Ｎｉｍａｇｅｓよりも少ないＮｐａｔｉｅｎｔｓを使用した。
表１：４重の相互検証を使用して患者の骨折を提示する性能（Ｎｐａｔｉｅｎｔｓ＝１０１）

ノイズで乱れたグラウンド・トゥルース椎骨重心を使用して椎骨レベルの結果を生成した。方法の誤りの種類及び根本原因（データ又はアルゴリズム）を理解するために、放射線専門医の読出しに対する椎骨レベルの誤りの手分析を行った。
誤りの３分の２超が胸部で生じており、このことは偏ったデータセットによって説明され得る（図１３を参照されたい）。
放射線専門医とともに個々の誤りを評価した後に、軽症の等級に関する誤りのほぼ１５％が疑わしいものであるとの結論に至った。この観測により、（Ｂｕｃｋｅｎｓ ｅｔ ａｌ．（２０１３）で観察者内及び観察者間の変動性として報告されたように）グラウンド・トゥルース・ラベルとして使用された放射線専門医の読出しがノイズで乱れていることが明瞭に実証された。
椎骨の誤りの４０％は、２つから６つの連続した椎骨における連続した間違いを包含していた。興味深いことに、本発明者のデータセットに関連した放射線専門医の読出しを調べると類似の結果が見られる。Ｇｅｎａｎｔ ｅｔ ａｌ．（１９９３）で説明されているように、１つの参照椎骨に対する高さ損失を比較する必要があり（複数の参照椎骨にわたる統計的平均を使用することによる相違が報告されている（Ｂｕｒｎｓ ｅｔ ａｌ．、２０１７））、これらの連続は、参照椎骨の概念を取り除き、椎骨サイズは低品位から高品位へと自然に縮小するので、参照椎骨をより離れて使用すると明瞭さが低下して問題を引き起こすのは驚くことではない。
試験結果が含有している椎骨は、骨粗鬆症診断（たとえばＳ１、Ｃ７及びＣ６）と臨床的にはあまり関連性がなく、そのため、データセットにおける実例の数は限られたものであった。
データセットは少数の椎骨病理（たとえば椎骨融合、海綿体内ヘルニア、進行中の骨形成過程による異常外観）を含有している。これらの椎骨病理の画像特徴は正常な椎骨とは明らかに異なり、分類器がこれらを骨折の場合と混同する可能性があるので、いくつかの誤りが生じる。
最終的に、低い胸椎（たとえばＬ２、Ｔ１２及びＴ１１）に比較的多くの見逃し（偽陰性）があることが理解され得、先行研究（Ｂｕｒｎｓ ｅｔ ａｌ．、２０１７）と合致する。
この方法は、臨床診療及びつい最近報告された患者レベルの骨折検出結果に対してさらにベンチマークテストされた。結果を臨床診療に対してベンチマークテストするために、１人の観察者に対する３人の観察者の正確さとして、Ｂｕｃｋｅｎｓ ｅｔ ａｌ．（２０１３）で報告された観察者間絶対一致を使用した（したがって後者はグラウンド・トゥルースと見なされる）。表１ａに報告された結果は、４人の人間の観察者にわたって報告された、患者の骨折を提示する正確さの範囲８２％〜９２％（Ｂｕｃｋｅｎｓ ｅｔ ａｌ．、２０１３）を凌ぐものである。これらの観察者が十中八九別々に訓練されている一方で、ボクセル分類器は同一の基準に対して訓練されて試験されたことに注意する必要がある。それにもかかわらず、Ｂｕｃｋｅｎｓ ｅｔ ａｌ．（２０１３）の結果は、研究センターにおいて臨床研究に採用されており、４人の放射線専門医が専用の骨折格付け訓練を前もって受け、画像ごとに椎骨骨折を分類すること（研究設定）に、より多くの時間が費やされている。これらの条件があらゆる病院における標準的な放射線学の慣行に対して有利である（単なる学業ではない）ため、この結果は臨床診療と同等である。表３は、本発明の方法を、報告された患者の骨折結果（Ｂａｒ ｅｔ ａｌ．、２０１７）と比較したものである。両方の結果が、異なるデータセットを使用して生成されたものであることに注意する必要がある。
表３：患者の骨折を提示する性能に関するプロキシ・ベンチマーク（両方の結果は異なる試験セットに対して報告されたものである）

参考文献
Baum et al (2014) Automatic detection of osteoporotic vertebral fractures in routine thoracic and abdominal mdct. European radiology, 24(4):872-880
Buckens et al (2013) Intra and interobserver reliability and agreement of semiquantitative vertebral fracture assessment on chest computed tomography. PloS one, 8(8):e71204
Buckens et al. (2014) Prevalent vertebral fractures on chest ct: higher risk for future hip fracture. Journal of Bone and Mineral Research, 29(2):392-398
Cicek et al (2016) 3d u-net: learning dense volumetric segmentation from sparse annotation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 424-432. Springer
Cooper et al (1992) Incidence of clinically diagnosed vertebral fractures: A population-based study in rochester, minnesota, 1985-1989. Journal of Bone and Mineral Research, 7(2):221-227
Genant et al (1993) Vertebral fracture assessment using a semiquantitative technique. Journal of bone and mineral research, 8(9):1137-1148
Glocker et al (2013) Vertebrae localization in pathological spine ct via dense classification from sparse annotations. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 262-270. Springer
He et al (2015) Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision, pages 1026-1034
He et al (2016) Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770-778
International Osteoporosis Foundation. Vertebral Fracture Teaching Program. https: //www.iofbonehealth.org/what-we-do/training-and-education/educational-slide-kits/vertebral-fracture-teaching-program, 2017.
Ioffe and Szegedy (2015) Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning, pages 448-456
Johnell et al (2006) An estimate of the worldwide prevalence and disability associated with osteoporotic fractures. Osteoporosis international, 17(12):1726-1733
Kamnitsas et al (2017) Efficient multi-scale 3d CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36:61-78
Klinder et al (2009) Automated model-based vertebra detection, identification, and segmentation in ct images. Medical image analysis, 13(3):471-482
Litjens et al (2017) A survey on deep learning in medical image analysis. arXiv preprint arXiv:1702.05747
Mitchell et al (2017) Reporting of vertebral fragility fractures: can radiologists help reduce the number of hip fractures? Archives of Osteoporosis, 12(1):71
Roux et al (2007) Mild prevalent and incident vertebral fractures are risk factors for new fractures. Osteoporosis International, 18(12):1617-1624
Schwartz et al (2005) Detection of vertebral fractures. Current osteoporosis reports, 3(4): 126-135
Szegedy et al (2015) Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1-9

Claims (64)

  1. 被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムであって、
    前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、前記セットの各々が前記３Ｄ画像の全体に対応し、前記セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、
    計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、
    前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える３次元医用画像解析システム。
  2. 前記画像の前記脊髄を含む部分を検出するための脊髄検出器（１０２）をさらに備える、請求項１に記載のシステム。
  3. 前記脊髄検出器（１０２）が、前記画像データにおいて前記脊髄を突き止めるために最大の信号強度を使用する、請求項２に記載のシステム。
  4. 前記脊髄検出器（１０２）が、ｘ軸、ｙ軸及びｚ軸に沿って前記脊髄を突き止めるために解剖学的事前情報を使用する、請求項３に記載のシステム。
  5. 前記３Ｄ画像データがコンピュータ・ネットワークを介して受け取られる、請求項１に記載のシステム。
  6. ３Ｄボクセルの少なくとも１つのセットが１ｍｍ３の等方性ボクセルのセットである、請求項１に記載のシステム。
  7. ３Ｄボクセルの第１のセットが１ｍｍ３の等方性ボクセルのセットであり、３Ｄボクセルの第２のセットが３ｍｍ３の等方性ボクセルのセットである、請求項１に記載のシステム。
  8. ３Ｄボクセルの少なくとも１つのセットが異方性ボクセルのセットである、請求項１に記載のシステム。
  9. 前記３Ｄ画像プロセッサ（１０１）が、前記ボクセルの強度の平均値及び単位標準偏差に正規化された３Ｄボクセルのセットを出力する、請求項１に記載のシステム。
  10. 前記ボクセル分類器（１０４）が、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットの、前記ボクセルの各々を分類する、請求項１に記載のシステム。
  11. 前記ボクセル分類器（１０４）が、前記周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、３０〜４０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第２のセットに分類する、請求項６に記載のシステム。
  12. 前記第１のセットが３５ｍｍ３の前記ボクセルのコンテキストで分類され、前記第２のセットが１０５ｍｍ３の前記ボクセルのコンテキストで分類される、請求項１０に記載のシステム。
  13. 前記ボクセル分類器（１０４）が、各ボクセルについて１つ又は複数のクラス確率を割り当てることによって各ボクセルを分類する、請求項１に記載のシステム。
  14. 前記ボクセル分類器（１０４）が、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによって各ボクセルを分類する、請求項１に記載のシステム。
  15. 前記ボクセル分類器（１０４）が、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する、請求項１に記載のシステム。
  16. 前記骨折確率推定器（１０３）が、前記ボクセル分類器（１０４）から入力を受け取るように構成された画像分類器（１０８）を備える、請求項１に記載のシステム。
  17. 前記骨折確率推定器（１０３）が備える画像分類器（１０８）が、前記３Ｄ画像を骨折の有／無で分類するように構成されており、前記ボクセル分類器（１０４）から前記３Ｄ画像の各ボクセルに関する入力を受け取って、前記３Ｄ画像に関する集約された確率値の出力をもたらす、請求項１に記載のシステム。
  18. 前記画像分類器（１０８）が、前記骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて前記３Ｄ画像を分類するように構成されている、請求項１７に記載のシステム。
  19. 前記骨折確率推定器（１０３）が、前記３Ｄ画像に存在する椎骨の解剖学的ラベル割当て器（１０６）を備える、請求項１に記載のシステム。
  20. 前記骨折確率推定器（１０３）が椎骨探知器（１０５）を備える、請求項１に記載のシステム。
  21. 前記椎骨探知器（１０５）が前記３Ｄ画像内の各椎骨の重心座標を生成する、請求項２０に記載のシステム。
  22. 前記骨折確率推定器（１０３）が椎骨分類器（１０７）を備える、請求項１に記載のシステム。
  23. 前記ボクセル分類器（１０４）が畳み込みニューラル・ネットワーク（ＣＮＮ）を利用する、請求項１に記載のシステム。
  24. 前記ボクセル分類器（１０４）が、ニューラル・ネットワーク層のセットを備えるＣＮＮを利用し、前記ニューラル・ネットワーク層のシーケンスが、
    ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
    前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
    前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項１０に記載のシステム。
  25. 前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てる、請求項２４に記載のシステム。
  26. 前記ボクセル分類器（１０４）が、注釈を付けてボクセルに分割された入力３Ｄ画像のセットを使用して事前訓練され、各３Ｄボクセルにはｘ軸、ｙ軸及びｚ軸に沿って強度ノイズ信号が付加される、請求項１に記載のシステム。
  27. 前記ボクセル分類器（１０４）が、フォアグラウンドを支援するためのサンプル抽出比を使用する注釈付きの入力３Ｄ画像のセットを使用して事前訓練されたＣＮＮを利用する、請求項１に記載のシステム。
  28. 前記ボクセル分類器（１０４）が、１：３：３の背景：正常：骨折のサンプル抽出比を使用する注釈付きの入力３Ｄ画像のセットを使用して事前訓練されているＣＮＮを利用する、請求項１に記載のシステム。
  29. 前記３Ｄ画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項１に記載のシステム。
  30. 前記３Ｄ画像データがデータベース・システムに受け取られて記憶される、請求項１に記載のシステム。
  31. 被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、
    請求項１から３０までのいずれか一項に記載の少なくとも１つの生成された画像において前記被検者の脊椎骨折の存在を予測するためのシステムとを備える医用画像ワークステーション。
  32. 個人の脊椎骨折の存在を予測する３次元医用画像解析方法であって、
    前記脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
    前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、前記セットの各々が前記３Ｄ画像の全体に対応し、前記セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
    計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
    前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
    骨折を含有していると分類された前記ボクセルの前記識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む方法。
  33. 前記画像の中で前記脊髄を突き止めるステップ（２０３）と、前記脊髄を含むボクセルの各セットについて脊柱によって切り取られた出力画像を生成するステップと、前記脊髄を含むボクセルのセットを出力するステップとをさらに含む、請求項３２に記載の方法。
  34. 前記３Ｄ撮像情報がコンピュータ・ネットワークを介して受け取られる、請求項３２に記載の方法。
  35. 前記分類が、
    ｉ．ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
    ｉｉ．ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
    ｉｉｉ．選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
    ｉｖ．訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成された前記訓練データセットを使用して訓練されたモデルを使用して実行される、請求項３２に記載の方法。
  36. 前記計算モデルが事前注釈付きの画像のセット上で訓練されたものである、請求項３２に記載の方法。
  37. 前記計算モデルが、ボクセルの２つ以上のセットに分割された、事前注釈付きの画像のセット上で訓練されたものである、請求項３２に記載の方法。
  38. 前記画像を処理して２つ以上のボクセルのセットに分割するステップ（２０２）が、ｘ軸、ｙ軸及びｚ軸に沿って生成された各３Ｄボクセルに強度ノイズ信号を付加するステップを含む、請求項３２に記載の方法。
  39. 前記画像の中で前記脊髄を突き止める前記ステップ（２０３）が、最大の信号強度に基づいて、前記画像データの中で前記脊髄を粗く突き止めるものである、請求項３３に記載の方法。
  40. 前記画像の中で前記脊髄を突き止める前記ステップ（２０３）が、解剖学的事前情報を使用して、前記ｘ軸、ｙ軸及びｚ軸に沿って前記脊髄を粗く突き止めるものである、請求項３３に記載の方法。
  41. 前記３Ｄボクセルのセットのうち少なくとも１つが１ｍｍ３の等方性ボクセルのセットである、請求項３２に記載の方法。
  42. 前記３Ｄボクセルのセットのうち少なくとも１つが等方性ボクセルのセットである、請求項３２に記載の方法。
  43. 前記画像を処理してボクセルのセットに分割するステップ（２０２）が、前記ボクセルの強度の平均値及び単位標準偏差に正規化するステップをさらに含む、請求項３２に記載の方法。
  44. 前記画像を処理してボクセルのセットに分割するステップ（２０２）が、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズを付加するステップをさらに含む、請求項３２に記載の方法。
  45. 計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む、請求項３２に記載の方法。
  46. 計算モデルを使用して、各ボクセル・クラスについて、ボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットにおける前記ボクセルの各々の分類を含む、請求項３２に記載の方法。
  47. 前記ボクセルの各々の分類が、前記周囲のボクセルのコンテキストで実行され、３０〜４０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第２のセットに分類する、請求項４６に記載の方法。
  48. 前記第１のセットが３５ｍｍ３の前記ボクセルのコンテキストで分類され、前記第２のセットが１０５ｍｍ３の前記ボクセルのコンテキストで分類される、請求項４７に記載の方法。
  49. 計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによって周囲のボクセルのコンテキストにおける各ボクセルを分類するために、分類器を使用する、請求項４６に記載の方法。
  50. 計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、前記画像における各ボクセルについて、背景クラス、正常クラス、又は骨折クラスと分類される出力確率を生成する、請求項３２に記載の方法。
  51. 脊椎骨折のリスクを予測する前記ステップ（２０６）が、前記３Ｄ画像を骨折の有／無に分類することを含み、前記ステップが、前記３Ｄ画像の各ボクセルに関する計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）から入力分類値を受け取り、前記ステップが、前記３Ｄ画像に関する集約された確率値の出力をもたらす、請求項３２に記載の方法。
  52. 脊椎骨折のリスクを予測する前記ステップ（２０６）が、割り当てられた前記骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記３Ｄ画像の分類を含む、請求項３２に記載の方法。
  53. 前記画像において前記椎骨を突き止めるステップと、前記３Ｄ画像に存在する椎骨に解剖学的ラベルを割り当てるステップとをさらに含む、請求項３２に記載の方法。
  54. 前記３Ｄ画像に存在する椎骨にラベルを割り当てるステップをさらに含む、請求項３２に記載の方法。
  55. 前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む、請求項３２に記載の方法。
  56. 前記椎骨を突き止める前記ステップが、前記３Ｄ画像の内部に各椎骨の重心座標を生成する、請求項５３に記載の方法。
  57. 計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
  58. 計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ニューラル・ネットワーク層の前記セットが、
    ボクセルの各セットについて、前記周囲のボクセルの前記コンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
    前記ボクセルのセットの各々について、前記１つ又は複数の畳み込まれた出力からの前記出力を集約するための集約層と、
    第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層と、
    前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
    前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項４６に記載の方法。
  59. 前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てることによって遂行される、請求項５８に記載の方法。
  60. 計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、フォアグラウンドを支援するためのサンプル抽出比を用いて注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
  61. 計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、背景：正常：骨折が１：３：３となるサンプル抽出比を用いて注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
  62. 前記３Ｄ画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項３２に記載の方法。
  63. 請求項３２から６２までのいずれか一項に記載の方法のステップを実行するためのコード手段を含むコンピュータ・プログラムであって、コンピュータ上で実行されるコンピュータ・プログラム。
  64. 実行可能命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータが、前記実行可能命令を実行することにより、個人における脊椎骨折のリスクを予測するための、請求項３２から６２までのいずれか一項に記載の方法を実行する、非一時的コンピュータ可読媒体。
JP2020529542A 2017-12-01 2018-11-29 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム Active JP7241075B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1720059.3A GB201720059D0 (en) 2017-12-01 2017-12-01 Three-dimensional medical image analysis method and system for identification of vertebral fractures
GB1720059.3 2017-12-01
PCT/EP2018/082925 WO2019106061A1 (en) 2017-12-01 2018-11-29 Three-dimensional medical image analysis method and system for identification of vertebral fractures

Publications (2)

Publication Number Publication Date
JP2021504061A true JP2021504061A (ja) 2021-02-15
JP7241075B2 JP7241075B2 (ja) 2023-03-16

Family

ID=60950305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529542A Active JP7241075B2 (ja) 2017-12-01 2018-11-29 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム

Country Status (11)

Country Link
US (2) US11341639B2 (ja)
EP (1) EP3718077A1 (ja)
JP (1) JP7241075B2 (ja)
KR (1) KR20200095504A (ja)
CN (1) CN111417980B (ja)
AU (1) AU2018376561B2 (ja)
CA (1) CA3084097A1 (ja)
GB (1) GB201720059D0 (ja)
IL (1) IL274767B1 (ja)
SG (1) SG11202004739RA (ja)
WO (1) WO2019106061A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135227B (zh) * 2018-02-09 2022-06-03 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
JP7304901B2 (ja) * 2018-09-04 2023-07-07 深▲セン▼先進技術研究院 不整脈検出方法、装置、電子装置およびコンピュータ記憶媒体
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US20220028066A1 (en) * 2018-12-10 2022-01-27 Voxeleron, LLC System and method for obtaining measurements from imaging data
US11315242B2 (en) * 2019-04-10 2022-04-26 International Business Machines Corporation Automated fracture detection using machine learning models
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
US11068752B2 (en) * 2019-10-31 2021-07-20 General Electric Company Inspection systems and methods including image classification module
US11741694B2 (en) 2020-06-09 2023-08-29 Merative Us L.P. Spinal fracture detection in x-ray images
CN111899880A (zh) * 2020-08-03 2020-11-06 暨南大学附属第一医院（广州华侨医院） 腰椎骨小梁负载应力改变及隐匿骨折人工风险评估方法
JP2022040570A (ja) * 2020-08-31 2022-03-11 グローリー株式会社 画像処理装置、画像処理システム、アノテーション付与方法、学習済みモデルの製造方法、学習済みモデル、およびプログラム
CN112529035B (zh) * 2020-10-30 2023-01-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 识别不同电台个体种类的智能识别方法
US20220293244A1 (en) * 2021-03-09 2022-09-15 Washington University Methods and systems for resting state fmri brain mapping with reduced imaging time
KR102588116B1 (ko) * 2021-04-19 2023-10-11 주식회사 바스젠바이오 엑스레이 영상에서 골절을 검출하는 방법
CN113378756B (zh) * 2021-06-24 2022-06-14 深圳市赛维网络科技有限公司 一种三维人体语义分割方法、终端设备及存储介质
CN113470004A (zh) * 2021-07-22 2021-10-01 上海嘉奥信息科技发展有限公司 一种基于ct的单个椎体的分割方法、系统及介质
WO2023010248A1 (zh) * 2021-08-02 2023-02-09 香港中文大学 利用胸腹部正位x线片检测脊柱骨质疏松性压缩性骨折的装置
CN114078120B (zh) * 2021-11-22 2022-05-20 北京欧应信息技术有限公司 用于检测脊柱侧弯的方法、设备和介质
CN114782472B (zh) * 2022-06-22 2022-10-14 杭州三坛医疗科技有限公司 一种ct图像的分割方法及装置
WO2024018368A2 (en) * 2022-07-18 2024-01-25 Augmedics Ltd. Calibration and registration of pre-operative and intraoperative images
WO2024047142A1 (en) * 2022-09-01 2024-03-07 Koninklijke Philips N.V. Spinal fracture detection
KR102605501B1 (ko) * 2022-11-23 2023-11-24 주식회사 바스젠바이오 인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법
KR102570004B1 (ko) * 2022-12-02 2023-08-24 주식회사 바스젠바이오 인공신경망 기반의 척추 진단 시스템 및 그 정보 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080132784A1 (en) * 2006-11-26 2008-06-05 Algotec Systems Ltd. Spine labeling

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6385283B1 (en) * 1999-11-24 2002-05-07 Hologic, Inc. Device and method for determining future fracture risk
US6975894B2 (en) * 2001-04-12 2005-12-13 Trustees Of The University Of Pennsylvania Digital topological analysis of trabecular bone MR images and prediction of osteoporosis fractures
GB0503236D0 (en) * 2005-02-16 2005-03-23 Ccbr As Vertebral fracture quantification
WO2008030247A2 (en) * 2006-03-24 2008-03-13 Kunio Doi Method for detection of vertebral fractures on lateral chest radiographs
US8175349B2 (en) 2006-08-16 2012-05-08 Siemens Medical Solutions Usa, Inc. System and method for segmenting vertebrae in digitized images
US7804992B2 (en) * 2006-10-02 2010-09-28 Hologic, Inc. Cardiovascular risk assessments using aortic calcification information derived from x-ray measurements taken with a dual energy x-ray densitometer
GB0806509D0 (en) * 2008-04-10 2008-05-14 Nordic Bioscience As Vertebral fracture prediction
US8437521B2 (en) 2009-09-10 2013-05-07 Siemens Medical Solutions Usa, Inc. Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
US8693750B2 (en) * 2011-01-14 2014-04-08 Siemens Aktiengesellschaft Method and system for automatic detection of spinal bone lesions in 3D medical image data
US8891848B2 (en) 2011-06-14 2014-11-18 Radnostics, LLC Automated vertebral body image segmentation for medical screening
US9002081B2 (en) * 2011-10-18 2015-04-07 Matthew Sherman Brown Computer-aided bone scan assessment with automated lesion detection and quantitative assessment of bone disease burden changes
US10039513B2 (en) 2014-07-21 2018-08-07 Zebra Medical Vision Ltd. Systems and methods for emulating DEXA scores based on CT images
DE102014221942A1 (de) * 2014-10-28 2016-04-28 Siemens Aktiengesellschaft Verfahren zur vollautomatischen Detektion und Bewertung von Wirbelschäden
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080132784A1 (en) * 2006-11-26 2008-06-05 Algotec Systems Ltd. Spine labeling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HOLGER R. RTOTH ET AL.: "Deep convolutional networks for automated detection of posterior-element fractures on spine CT", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, vol. vol.9785,24, JPN7022005056, 24 March 2016 (2016-03-24), pages 97850 - 7, ISSN: 0004906351 *

Also Published As

Publication number Publication date
IL274767B1 (en) 2024-05-01
SG11202004739RA (en) 2020-06-29
US11341639B2 (en) 2022-05-24
CA3084097A1 (en) 2019-06-06
IL274767A (en) 2020-07-30
JP7241075B2 (ja) 2023-03-16
CN111417980B (zh) 2024-06-04
US11710233B2 (en) 2023-07-25
US20200364856A1 (en) 2020-11-19
KR20200095504A (ko) 2020-08-10
EP3718077A1 (en) 2020-10-07
WO2019106061A1 (en) 2019-06-06
NZ764955A (en) 2023-11-24
AU2018376561A1 (en) 2020-06-18
AU2018376561B2 (en) 2024-05-02
GB201720059D0 (en) 2018-01-17
CN111417980A (zh) 2020-07-14
US20220358644A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
JP7241075B2 (ja) 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム
US10706545B2 (en) Systems and methods for analysis of anatomical images
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
Al Arif et al. Fully automatic cervical vertebrae segmentation framework for X-ray images
US10588589B2 (en) Systems and methods for prediction of osteoporotic fracture risk
CN107004043B (zh) 优化检测和标记感兴趣解剖结构的系统和方法
US8126242B2 (en) Computer program products and methods for detection and tracking of rheumatoid arthritis
EP3567525A1 (en) Systems and methods for analysis of anatomical images each captured at a unique orientation
WO2016013004A1 (en) Systems and methods for prediction of osteoporotic fracture risk
WO2020206135A1 (en) Image-based methods for estimating a patient-specific reference bone model for a patient with a craniomaxillofacial defect and related systems
EP3107031A1 (en) Method, apparatus and system for spine labeling
US11741694B2 (en) Spinal fracture detection in x-ray images
US11058383B2 (en) Apparatus for the detection of opacities in X-ray images
Piętka et al. Role of radiologists in CAD life-cycle
Vania et al. Automatic spine segmentation using convolutional neural network via redundant generation of class labels for 3D spine modeling
US11842492B2 (en) Cerebral hematoma volume analysis
KR102595106B1 (ko) 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템
US11915829B2 (en) Perihematomal edema analysis in CT images
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
KR20240057779A (ko) 치과 방사선 영상으로부터 치아 발육단계를 검출하는 방법 및 이를 이용한 장치
He et al. Age and sex estimation in cephalometric radiographs based on multitask convolutional neural networks
TWM624947U (zh) X光影像分析儀器
Caban et al. Enhancing image classification models with multi-modal biomarkers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R150 Certificate of patent or registration of utility model

Ref document number: 7241075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150