JP2021000442A - 画像分析の方法及びシステム - Google Patents

Abstract

【課題】コンピュータ実装の画像分析方法を開示する。【解決手段】該方法は次のステップを含む：被験者の医療画像からセグメント及び識別された１つ以上の特徴を定量化するステップと、被験者に関する非画像データから臨床的に関連する特徴を抽出するステップと、医療画像からセグメントされた定量化済み特徴及び非画像データから抽出された特徴を訓練済み機械学習モデルをもって評価するステップと、特徴の評価についての１つ以上の結果を出力するステップ。【選択図】図１

Description

本発明は、画像分析の方法及びシステムに関するのであり、特に（例えば筋骨格の）撮像分野における疾患や状態の診断や監視等の医療撮像分野における用途に関するが、これらの応用に限られる訳ではない。興味対象領域は、そのような医療画像内における２Ｄ領域又は３Ｄ容積たり得る。可能な医療撮像用途を挙げるに、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、超音波、病変スキャナ撮像等が含まれる。

本願は、米国特許出願第１６／４４８，４６０号（出願日：２０１９年６月２１日）に基づいておりまたその優先権を主張しており、出願時にかかる内容の全体は参照によって取り込まれる。

筋骨格関連疾患の発生に関連付けられる罹患率、死亡率及びコストは増加傾向にあり、その部分的な理由としては長寿化が高齢者人口比率を増加させているという点が挙げられる。筋骨格疾患早期検出により介入促進がなされ、これによって疾患進行の軽減又は悪性結果（例えば骨折）の最小化が図られ得る。

筋骨格撮像の分野では、様々な手法を用いて筋骨格疾患を検出する。例えば、骨生検を用いて骨肉腫又は他の骨疾患を検出するのであり、組織の特性を正確に測定できる。もっとも、骨生検は侵襲的であり痛み及び傷痕をもたらし得る。

他の手法では、筋骨格画像を分析して異常を識別又は定量化することによって筋骨格疾患を評価するのであって、画像は様々な撮像モダリティを用いて取得されるのであり、次のモダリティが含まれる：ＤＸＡ（Dual-energy X-ray Absorptiometry（二重エネルギーX線吸収測定法））、ＣＴ（コンピュータ断層撮像法）、ＭＲＩ（磁気共鳴断層撮像法）、及びＸ線スキャナ。各モダリティは（例えば、骨脆弱性、骨関節炎、リウマチ性関節炎、骨軟化症、及び骨変形等の）筋骨格疾患のスクリーニング及び評価に関して具体的な長所を有している。

例えば、ＨＲｐＱＣＴ（High-Resolution peripheral Quantitative Computed Tomography（高解像度末梢定量的コンピュータ断層撮像法））は高解像度且つ低被爆且つ非侵襲的な手法であり、次に挙げる骨質の３大決定因子を評価するために用いられる：微細構造、石灰化状態、及び生体力学的特性。

筋骨格疾患を評価するためには手動、準手動、及び自動型手法があり、様々な撮像モダリティを伴い得る。例えば、ＢＭＢ（Bone Marrow Burden（骨髄負荷））スコアは、ゴーシェ病における骨髄の関与度を手動評価するためのＭＲＩスコアリング法である。放射線技師等が、腰椎及び大腿骨のＭＲＩ画像に関してＢＭＢスコアを測定するのであり、ランキング基準に従って信号強度及び分布を用いてこれをなす。例えば、ある既知のスコア体系によれば、腰椎に関してスコアは０から８の範囲で与えられ、また、大腿骨に関しては０から８の範囲で与えられ、総合スコアは０から１６の範囲で与えられる。より高い合計ＢＭＢスコアは、より深刻な骨髄関与度を示す。

ＤＸＡ画像を用いて骨塩密度（ＢＭＤ）を測定するに際しては、準手動型手法を用いる。ＤＸＡによって脊椎又は腰部をスキャンする。放射線技師等や医師が興味対象領域（ＲＯＩ）を選択する（例えば、脊椎スキャンの異なる脊椎セクションや腰部スキャンの大腿骨頸部等）。選択された領域の骨塩密度は、予め定義された密度較正式に基づいて決定される。測定された密度値はＴスコアに変換されるのであって、ピーク骨量を有する同性の若年成人集団からの測定値とそれを比較することによって該行為はなされる。≧１のＴスコアは正常とみなされ；−２．５＜Ｔ＜−１のＴスコアは骨減少症と分類され；≦−２．５のＴスコアは骨粗鬆症と定義される。Ｔスコアは、骨折発生の危険を評価し治療を推奨すべきか否かを考査するときに、臨床医によって考慮される。

もっとも、手動型又は準手動型の筋骨格撮像法に関する重大な関心事項は、その労働集約性と再現可能性にある。測定とその評価に付随する主観性故に、正確性及び再現可能性は保証されない。

筋骨格画像を評価するための１つの自動型手法は、「選択された組織構造についての画像分析のための方法及びシステム」と題される特許文献１に開示されている。この方法は、手首ＣＴスキャン等の筋骨格画像を自動的に分析及び評価する。方法は自動的に用いられることができ、手首ＣＴスキャンから橈骨を抽出して、橈骨を微細構造（例えば、密皮質、遷移ゾーン、及び骨梁領域）にセグメントでき、皮質多孔性及び骨梁密度を定量化できる。

既知の方法は各測定値に個別的に注目してきたが、これでは特定の筋骨格属性が有病者と無病者との判別を可能とするかについて有用な洞察を得ることができない。例えば、ＢＭＢスコアは骨髄関与度をゴーシェ病との関係でのみ評価するのであって、ＢＭＤスコアは骨塩密度関与度を骨折リスクとの関係でのみ評価し、皮質多孔性は重要な骨属性について測定をもたらすも骨微細構造については完全な情報をもたらすわけではない。

米国特許第９０６４３２号

本発明の第１の観点によれば、コンピュータ実装画像分析方法を提供するのであって、該方法は次のステップを含む：
被験者の医療画像からセグメント及び識別された１つ以上の（例えば、構造や材質を含む）特徴を定量化するステップと、
被験者に関する非画像データを１つ以上の非画像データ源から抽出するステップと、
被験者に関する非画像データから、臨床的に関連する特徴を抽出するステップと、
医療画像からセグメントされた定量化済み特徴及び非画像データから抽出された特徴を、訓練済み機械学習モデルをもって評価するステップと、
特徴の評価についての１つ以上の結果を出力するステップ。

したがって、機械学習アルゴリズム（例えば、深層学習アルゴリズム）をもって画像データ及び非画像データの両方から抽出された複数の特徴を組み合わせることによって、本発明は、筋骨格画像等の医療画像における疾患及び状態について診断及び監視を可能ならしめる。

実施形態では、方法は、画像を受信することと、画像から１つ以上の特徴をセグメントすることと、画像からセグメントされた特徴を識別することとを含む。

実施形態では、方法は、画像をそこからセグメントされた特徴と共に受信することと、画像からセグメントされた特徴を識別することとを含む。

実施形態では、セグメント及び識別することは機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルによって実装されるのであって、該モデルは特徴を画像からセグメント及び識別するように構成されている。例を挙げるに、訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える。

実施形態では、訓練済み機械学習モデルは、疾患分類モデルを備える。

実施形態では、訓練済み機械学習モデルは、患者データから抽出された特徴及び疾患又は非疾患を示すラベル又はアノテーションを用いて訓練されたモデルを備える。

実施形態では、訓練済み機械学習モデルは、深層学習ニューラルネットワーク又は他の機械学習アルゴリズム（サポートベクタマシン（ＳＶＭ）や決定ツリーやAdaBoost等）を備える。

実施形態では、訓練済み機械学習モデルは、１つ以上の（例えば筋骨格）疾患を診断及び／又は監視するように訓練されたモデルである。

実施形態では、方法は、（ｉ）訓練済み機械学習モデルを訓練するステップ、及び／又は（ｉｉ）新たな又は新たに分析された、被験者データから導出された追加的ラベル付け済みデータを伴って訓練済み機械学習モデルを（例えば継続的に）更新するステップをさらに含む。

実施形態では、結果は１つ以上の疾患分類及び／又は確率を備える。

実施形態では、方法は、少なくとも結果に基づいて報告を生成するステップをさらに含む。例を挙げるに、方法は、ドメイン知識データベースからの情報に追加的に基づいた報告を生成するステップを含む。

実施形態では、評価は骨脆弱性評価を含む。

実施形態では、結果は１つ以上の骨折危険性スコアを含む。

本発明の第２の態様によれば、画像分析システムを提供するのであって、該システムは次のものを備える：
被験者の医療画像からセグメント及び識別された１つ以上の特徴（構造や材質）を定量化するように構成された特徴定量化部と、
被験者に関する非画像データを１つ以上の非画像データ源から抽出し、また、臨床的に関連する特徴を被験者に関する非画像データから抽出するように構成された非画像データプロセッサと、
医療画像からセグメントされた特徴及び非画像データから抽出された特徴を、訓練済み機械学習モデルをもって評価するように構成された特徴評価部と、
特徴の評価についての１つ以上の結果を出力するように構成された出力。

実施形態では、システムは、画像を受信し１つ以上の特徴を画像からセグメントし及び画像からセグメントされた特徴を識別するように構成されたセグメンタ及び識別器をさらに備える。１つの例を挙げるに、セグメンタ及び識別器は、特徴を画像からセグメント及び識別するように構成されたセグメンテーション及び識別モデル（即ち、機械学習アルゴリズムを用いて訓練されたセグメンテーション及び識別モデル）を備える。訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備え得る。

実施形態では、訓練済み機械学習モデルは、疾患分類モデルを備える。

実施形態では、訓練済み機械学習モデルは、患者データから抽出された特徴及び疾患又は非疾患を示すラベル又はアノテーションを用いて訓練されたモデルを備える。

実施形態では、訓練済み機械学習モデルは、深層学習ニューラルネットワーク又は他の機械学習アルゴリズムを備える。

実施形態では、訓練済み機械学習モデルは、１つ以上の（例えば筋骨格）疾患を診断及び／又は監視するように訓練されたモデルである。

実施形態では、システムは、新たな又は新たに分析された被験者データから導出された追加的ラベル付け済みデータを伴って訓練済み機械学習モデルを（例えば継続的に）更新するように構成された機械学習モデル訓練器をさらに備える。

実施形態では、結果は１つ以上の疾患分類及び／又は確率を備える。

実施形態では、システムは、少なくとも結果に基づいて報告を生成するように構成された報告生成器をさらに備える。例を挙げるに、報告生成器は、（例えば、システムの）ドメイン知識データベースからの情報に追加的に基づいた報告を生成するように構成されている。

実施形態では、特徴評価部は骨脆弱性を評価するように構成されている。

実施形態では、結果は１つ以上の骨折危険性スコアを含む。

本発明の第２の態様によれば、１つ以上のプロセッサによって実行されると第１の態様の画像分析方法を実施するように構成された命令を備えるコンピュータプログラムコードを提供する。当該態様は、先述のようなコンピュータプログラムコードを備える（不揮発性たり得る）コンピュータ可読媒体も提供し得る。

本発明の上述の態様の各々についての様々な個々の特徴の任意のもの、並びに、特許請求の範囲を含む本明細書にて説明した実施形態についての様々な個々の特徴の任意のものに関しては、適切且つ所望の態様で組み合わせることができる。

本発明をより明確に確定できるようにするために、添付の図面を参照して例示的に実施形態について以下説明する。

本発明の実施形態による、医療画像分析システムについての概略図である。 図２Ａは、医療画像分析システムのメモリ内に格納された例示的画像データについての概略図である。図２Ｂは、図１の医療画像分析システムのメモリ内に格納された例示的画像データについての概略図である。 図３Ａは、図１の医療画像分析システムのデータ未投入な非画像データ記憶部についての例についての概略図である。図３Ｂは、図１の医療画像分析システムのデータ投入済みな非画像データ記憶部についての例についての概略図である。 骨脆弱性用途における図１の医療画像分析システムの画像データプロセッサの動作についての概略図である。 構造化データ及び非構造化データを含む例示的非画像データに関する図１の医療画像分析システムの画像データプロセッサの動作についての概略図である。 図１の医療画像分析システムの特徴評価部の機械学習モデルのオフライン訓練についての概略図である。 図１の医療画像分析システムの報告生成器についての概略図である。 図１の医療画像分析システムの骨脆弱性用途における例示的動作を示す図であって、画像データは手首ＨＲｐＱＣＴスキャンを含みまた非画像データは患者情報を含む、図である。 図１の医療画像分析システムの報告生成器によって生成された例示的報告についての概略図である。

図１は、本発明の実施形態による、医療画像分析システム１０としてもたらされた画像分析システムについての概略図である。

図１を参照するに、システム１０は、画像分析コントローラ１２と、（ＧＵＩ１６を含む）ユーザインタフェース１４とを備える。ユーザインタフェース１４は、通常、１つ以上のディスプレイ（そのうちの１つ以上はＧＵＩ１６を表示できる）と、キーボード及びマウスと、随意的にはプリンタとを備える。画像分析コントローラ１２は、少なくとも１つのプロセッサ１８とメモリ２０とを含む。システム１０は、例えば、コンピュータ上でソフトウェア及びハードウェアの組合せとして（例えば、パソコンやモバイルコンピューティング装置として）実装されるか、専用の画像セグメンテーションシステムとして実装されることができる。システム１０は随意的には分散型とされていることができ；例えば、メモリ２０の全部又は一部のコンポーネントは、プロセッサ１８からリモートな場所に配置されていることができ；ユーザインタフェース１４はメモリ２０及び／又はプロセッサ１８からリモートな所に配置されていることができ、実際にはそれはウェブブラウザ及びモバイル機器アプリケーションを備え得る。

メモリ２０はプロセッサ１８とデータ通信を行えるのであり、また、典型的には揮発性及び不揮発性メモリの両方を備えるのであり（また、各メモリタイプについて１つ以上のものを含み得るのであり）、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ、及び１つ以上のマスストレージ装置が含まれる。

より詳しく後述するように、プロセッサ１８は、（セグメンタ及び識別器２４並びに特徴特徴定量化部２５を含む）画像データプロセッサ２２と、非画像データプロセッサ２６と、（前例比較器２９を含む）特徴評価部２８と、機械学習モデル訓練器３０と、報告生成器３２と、Ｉ／Ｏインタフェース３４と、結果出力３６たる結果部とを含む。メモリ２０は、プログラムコード３８、画像データ４０、非画像データ４２、訓練データ４４、訓練済み機械学習モデル４６、及びドメイン知識４８を含む。画像分析コントローラ１２は少なくとも部分的には、メモリ２０からプログラムコード３８を実行しているプロセッサ１８によって、実装されている。

大局的に述べるに、Ｉ／Ｏインタフェース３４は、被検物又は患者に関する画像データ及び非画像データ（例えばＤＩＣＯＭ形式）をメモリ２０の画像データ４０及び非画像データ４２内へと読み込むか受信するように構成されている。画像データプロセッサ２２はセグメンタ及び識別器２４と特徴定量化部２５とを用いて特徴を画像データからセグメント（即ち抽出）及び定量化し、非画像データプロセッサ２６は非画像データから特徴を抽出し、特徴評価部２８は１つ以上の機械学習モデル４６を伴って特徴を処理し、そして、Ｉ／Ｏインタフェース３４は分析の結果を例えば結果出力３６及び／又はＧＵＩ１６へと出力する。

システム１０は、人工知能（例えば深層ニューラルネットワーク）、他の機械学習アルゴリズム及びコンピュータビジョンアルゴリズムを用いて、特徴抽出及び画像特徴定量化を正確且つ再現可能に自動化するのであって筋骨格画像分析において特に有用となる。結果は、筋骨格疾患の患部特定や筋骨格疾患の診断や疾患進行の監視に活用するために適切なものと以後なろう。

図１を参照するに、システム１０は、次の２タイプの被験物又は患者データを受信するように構成されている：画像データ（例えば１つ以上の撮像モダリティを用いて１つ以上の部位箇所で取得された医療画像）及び非画像データ（病歴データや問診データ等の構造化患者データ並びに医師のメモや音声記録等の非構造化患者データ）。システム１０はこれらのデータをそれぞれ画像データ４０及び非画像データ４２に格納する。非画像データの様々なデータ形式及び構造が、非画像データプロセッサ２６の挙動を左右する。

画像データプロセッサ２２は次の２つのコンポーネントを備える：セグメンテーション及び識別を行うように構成されたセグメンタ及び識別器２４、並びに、特徴定量化を行うように構成された特徴定量化部２５。画像データ４０は画像データプロセッサ２２によって処理され、セグメンタ及び識別器２４を用いて臨床的に関連する構造、特徴又は材質を自動的にセグメント及び識別するのであり、この実施形態では被験者又は患者の医療画像からセグメント及び識別がなされるのであり、そして、特徴定量化部２５はセグメント及び識別がなされた臨床的に関連する構造、特徴、材質、又はそれらの組合せに関して定量化を行う。もっとも、一部の実施形態では、既にセグメントされた画像を受信するようにシステム１０は構成されていることができるということに留意されたいのであり（なお、随意的にはセグメント済みの特徴を既に識別しておくことも可。）、セグメンタ及び識別器２４を省いたりその使用を省いたりできる。

この実施形態では、セグメンテーション及び識別は、従来的な画像処理方法（即ち、非機械学習型）によって実装されるのであって、例えば閾値化や輪郭検出やブロブ検出や米国特許第９，０６４，３２０号（題名：「選択された組織構造についての画像分析のための方法及びシステム」）が挙げられる。

もっとも、幾つかの他の実施形態では、セグメンタ及び識別器２４は、機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルを備えることができ、これは画像から興味対象の構造や特徴をセグメント及び識別するように構成されていることができる。例えば、骨脆弱性用途においては、深層畳み込みニューラルネットワークを用いて訓練されたそのようなモデルは、手首ＨＲｐＱＣＴスキャンから橈骨をセグメント及び識別するために用いられ得る。訓練データは、橈骨や尺骨や周囲組織のヴォクセルを区別するアノテーション済み手首ＨＲｐＱＣＴスキャンとすることができる。

非画像データは非画像データプロセッサ２６によって処理され、非画像データから臨床的に関連する特徴が抽出される。

画像データ及び非画像データの双方から取得された定量的特徴は、特徴評価部２８によって機械学習モデル４６内へと入力される。機械学習モデル４６は、ラベル付けされた訓練データ、即ち機械学習に関しての正解となるアノテーションを伴って予め訓練される。例えば、骨セグメンテーションモデルを訓練するためには、訓練データは典型的には元画像とそれに対応する正解画像とを備えるのであり、即ち骨がアノテーションされた画像を伴う。疾患分類モデルを訓練するためには、訓練データは典型的には患者データから抽出された特徴とそれに対応する正解画像とを備えるのであり、これは疾患又は非疾患を示すラベル／アノテーションである。（「ラベル」及び「アノテーション」との用語は本質的には可換であるも、「ラベル」は一般的には疾患や状態に関して用いられるものであり、「アノテーション」は一般的には画像セグメンテーション／識別機械学習モデルに関して用いられる。）

この実施形態では、プロセッサ１８は機械学習モデル訓練器３０を含むのであって、該訓練器は（新たな被験者データを含み得る）訓練データ４４を用いて機械学習モデル４６を訓練（及び後述のように機械学習モデル４６を再訓練又は更新訓練）するように構成されている。もっとも、他の実施形態では、機械学習訓練器３０は、機械学習モデル４６を再訓練又は更新訓練するためだけに構成或いは用いられることができる。

（画像データ及び非画像データの双方からの特徴を用いる）様々な機械学習アルゴリズムを用いてこの実施形態で用いられる機械学習モデル４６を訓練して筋骨格疾患等について診断及び監視でき、例えば（好まれる）深層学習ニューラルネットワーク又はサポートベクタマシン（ＳＶＭ）や決定ツリーやAdaBoost等の他の機械学習アルゴリズムを伴い得る。

１つの実施形態では、予め訓練された機械学習モデル４６は、新たに分析された患者データから導出された追加的ラベル付け済みデータを伴って継続的に更新される。

したがって、特徴評価部２８は機械学習モデル４６を用いて特徴を評価及び査定するのであり、そしてまた、（例えば、分類や確率といった形式で）結果を報告生成器３２へと出力する。報告生成器３２は、これらの結果に基づいて報告を生成する。また、報告生成器３２は、ドメイン知識４８から追加情報を取得でき、該情報を結果と組み合わせることができるのであって、両方が報告にて提示され得る。

例えば、骨脆弱性評価用途の実施形態では、特徴評価部２８は、機械学習モデル４６を用いて、骨折危険性スコアを含む結果を出力し得る。報告生成器３２は、このスコアによって示される情報をドメイン知識４８から取得するように構成されていることができ、該情報は例えばスコアの解釈を支援するものとされ得る。そして、報告生成器３２は、スコア及び情報の両方を報告内において提示し得る。

終局的な報告は結果出力３６及び／又はユーザインタフェース１４を介して出力される。

図２Ａ及び２Ｂは、画像データ４０内に格納された例示的画像データについての概略図である。画像データは被験者又は患者についての臨床的に関連性を有する医療画像を含み、典型的には１つ以上の撮像モダリティを用いて１つ以上の部位的箇所にて取得された画像が対象とされる。

例えば、骨脆弱性に関する例においては、図２Ａに示すように、入力画像データは手首ＨＲｐＱＣＴスキャン５０を伴い得る。別の例では、周辺骨格及び中心骨格の両方を分析することが望まれ得るのであり、図２Ｂに示すように、入力画像データは、手首ＨＲｐＱＣＴスキャン５０、脚部ＨＲｐＱＣＴスキャン５２、脊椎ＤＸＡスキャン５４、及び腰部ＤＸＡスキャン５６を含み得る（また、骨髄情報が随意的に統合されているのであれば、腰部ＭＲＩスキャン５８も）。

図３Ａ及び３Ｂは、それぞれ、データ未投入及びデータ投入済みな非画像データについての例についての概略図である。 システム１０によって受信され非画像データ４２内にて格納された非画像データは、筋骨格疾患を示し得る有用なデータを相当量内包している場合がある。図３Ａに示すように、非画像データは様々な構造化及び非構造化データ源からの患者情報を含み得るのであり、これらは、例えば被験者又は患者の診察や治療時に収集される。構造化データは、例えば性別、年齢、体重、身長等の被験者基礎情報や、（例えば血液検査結果やＤＮＡ検査結果等の）臨床検査結果や、（例えば薬物タイプや投与量等の）治療データや、（例えば喫煙歴や飲酒歴や骨折歴等の）問診データ等を含み得る。非構造化データは、臨床検査結果のテキストドキュメントや医師のメモや放射線報告等を含み得る。

図３Ａに示すように、非画像データ４２内の非画像データは次のような様々な形式を有していることができる：構造化された動画６２、テキスト６４、数値６６、及び／若しくは音声６８、並びに、非構造化とされる動画７２、テキスト７４、数値７６及び／若しくは音声７８。図３Ｂは例示的局面を示すのであり、非画像データは次のようなものを含む：病歴データや問診データ８０の形式での構造化テキスト６４、患者測定値８２の形式での構造化数値６６、患者の歩行動画８４の形式での非構造化動画７２、医師メモの形式での非構造化テキスト７４、及び患者録取８８の形式での非構造化音声７８。

非画像データプロセッサ２６は、非画像データを処理するに際して、異なるデータ処理手法及び特徴抽出手法を持つように構成されており且つそれらを用いるものとされており、各場合においてデータの各部分の構造及び形式に則する。

図４は、骨脆弱性用における画像データプロセッサ２２の動作についての概略的提示９０である。この例では、予め訓練済みの深層ニューラルネットワークモデルを用いて、橈骨を、手首ＨＲｐＱＣＴスキャンから識別及びセグメント９２している。そして、橈骨はセグメンタ及び識別器２４によって、密皮質９４、遷移ゾーン９６、及び骨梁領域９８にセグメント及び識別される。次に、特徴定量化部２５によって、異なる構造及び構造の組み合わせの属性が次のような特徴へと定量化される：ｖＢＭＤ（橈骨全体の容量骨塩密度）１０２、皮質多孔性（骨容積内における細孔の百分率）１０４、遷移領域ｖＢＭＤ（遷移領域の容量骨塩密度）１０６、骨梁領域ｖＢＭＤ（骨梁領域の容量骨塩密度）１０８、マトリクス石灰化レベル（石灰化材質の平均百分率）１１０、髄質過脂肪状態（骨梁領域における髄質脂肪の密度）１１２、皮質厚み（密皮質の平均厚み）１１４、及び骨梁組織分離（骨梁組織の平均分離距離）１１６。これらの特徴は骨脆弱性及び骨折危険性を示すと証明されているが故に選ばれた。他の用途では、興味対象状態に関連する特徴を同様に選択する。

図５は、非画像データプロセッサ２６の構造化及び非構造化データを含む例示的非画像データ４２に対しての動作についての概略的提示１２０である。非画像データプロセッサ２６は非画像データから特徴を抽出するのであり、様々なツールがそれぞれ異なる構造及び形式の非画像データのタイプを抽出することに関して適合化されている。

典型的には、構造化データ１２２は、データベーステーブルや．ｊｓｏｎファイルや．ｘｍｌファイルや．ｃｓｖファイル等の構造化データ記憶内にて格納及び維持されている。非画像データプロセッサ２６は、構造化データから特徴を抽出するのであって、必要とされるパラメータ及び属性をデータ源からクエリ１２４することによってこれをなし、それによって構造化データ源から興味対象情報を抽出する。一部の場合においては、構造化データはそれ自体完全であり且つ興味対象とされていることができ、クエリ不要とされ得る。

非構造化データ１２６は医師メモや音声記録やグラフィカル報告等を含み得るのであり、故に、抽出前に、非画像データプロセッサ２６は典型的には、非構造化データ１２６を構造化データに変換し得る。非画像データプロセッサ２６によって用いられる変換手法は、非構造化データ源又はタイプの各々に固有なものである。例えば、医師メモを構造化データに変換するためには、非画像データプロセッサ２６は、訓練済みな光学式文字読み取り（ＯＣＲ）を含めるか用いる及び活用することによって、メモを、システム１０によって認識可能なテキストに変換１２８することができる。そして、非画像データプロセッサ２６は、テキストに対して（「骨折」や「痛み」や「転倒」等のキーワードを用いて）構文解析を行う。

別の例を挙げるに、非画像データプロセッサ２６は、訓練済みな音声認識モデルを含めるか用いることによって、面談での音声記録を、システム１０によって認識可能なテキストに変換１２８することができる。そして、非画像データプロセッサ２６は、元の問診設問を参照することによって、変換済みテキストを構造化データにセグメント及び整理する。

別の例示的実施形態では、例えば、歩様に関してのパターンが骨折危険性と関連していると研究で示されているため、非画像データは動画を含むものとされ得る。非画像データプロセッサ２６は、動画を処理してそこから歩様特徴を抽出する。

一旦構造化データに変換１２８されたらば、非画像データプロセッサ２６は、（従前は非構造化データであった）構造化されたデータから特徴を抽出するのであって、データ源から必要なパラメータ及び属性をクエリ１２４することによってこれをなす。もっとも、上述のように、現時点で構造化されたデータがそれ自体で完結しており且つ興味対象に含まれる場合、クエリすることは要さない。歩行動画の上記例では、動画を（構造化データを構成する）歩様特徴に変換した後、そのようなクエリ１２４は不要である。

究極的には、非画像データプロセッサ２６は、性別１３２、年齢１３４、喫煙歴１３６、骨折歴１３８、治療歴１４０及び歩様１４２等の特徴１３０を、抽出する。

図６は、機械学習モデル４６内のモデルの（オフライン）訓練についての概略的提示１４４である。第１に、Ｓ１４６では、訓練データにアクセスするか訓練データ４４のデータベースから処理のために選択する。訓練データは、被験者画像データ及び／又は被験者非画像データを含み得る。様々な属性を有するデータを訓練のために選択してターゲット母集団を表す。上述の手法を用いて、訓練データに関しては次のようになす：Ｓ１４８で特徴の抽出；Ｓ１５０で抽出済み特徴の定量化。そして、訓練データは定量的特徴のセットを有することとなる。

Ｓ１５２では、（人間のオペレータによって）訓練データにアノテーションが施されて正しい診断結果が付される。Ｓ１５４では、抽出済み特徴で表されている訓練データを診断ラベルと組み合わせて、機械学習モデル訓練器３０の１つ以上の機械学習アルゴリズムへと投入して１つ以上のモデルを訓練する。モデルの訓練に適しているものとしては様々な機械学習アルゴリズムが挙げられることに留意されたい。ブラックボックスアルゴリズム（例えば、ニューラルネットワーク）とすることができ、決定プロセスが人知の範囲を超えているものとなり得る。代替的には、ホワイトボックスアルゴリズム（例えば、決定ツリー、サポートベクターマシン、又は線形判別式分析）とすることもでき、人間がモデルの決定プロセスを解釈できるものとなり得る。また、ホワイトボックスアルゴリズムとブラックボックスアルゴリズムとを組み合わせるハイブリッドアルゴリズムとすることもできる。

Ｓ１５６では、現時点で訓練済みなモデルは、使用のために展開され、典型的には機械学習モデル４６内に格納されることとなる。

使用に際しては、新たな患者データから抽出された特徴は現時点で訓練済みとなった機械学習モデル４６内へと投入される。上述のように、機械学習モデル４６は特徴を評価して１つ以上の結果を出力する。結果は、２進法てきな分類、スコア、又は確率とし得る。一部の実施形態では、（随意的ステップたるＳ１５８で）新たな患者データを訓練データ４４に追加して、モデル４６の再訓練又は更新に用いることができる。

モデルの訓練及びその有用性はドメイン固有である。したがって、結果的に得られる各々の機械学習モデル４６も同様となる。各モデル４６は、データ及びターゲット条件（例えば、骨脆弱性や骨粗鬆症等の疾患や特定の細菌性感染等の感染）に依存する。１つの実施形態では、モデル４６の１つを訓練して、１つ以上の疾患又は状態を診断するために用いられるのであって、１つ以上の疾患確率スコアを生成することによってこれをなす。別の実施形態では、複数のモデル４６を訓練してそれぞれの疾患を診断するために用いることができる。同様に、別の実施形態では、モデル４６の１つを、１つ以上の症状（例えば骨折）の発現の可能性の予測を生成するように訓練でき、又は、複数のモデル４６を訓練して、それぞれの症状の発現の可能性についてのそれぞれの予測を生成するために用いることができる。

図７は報告生成器３２についての概略図であり、これは、機械学習モデル４６から取得された結果１６２に少なくとも基づいて報告を生成する。報告生成器３２は、報告生成に際して、ドメイン知識４８内に格納されている情報を用いることができる。この情報には、特徴評価部２８によって出力された結果を解釈するに際して医師に役立ち得る情報が含まれ得る（例えば、診断及び治療に関するガイドライン）。例えば、骨折評価にシステム１０を応用する場合、骨折危険性の異なるレベルに関する治療ガイドラインを医師に提示できる。そして、報告は、特徴評価部２８によって生成された複数の結果（被験者又は患者の骨について特徴付けるものであって例えば脆弱性スコアや多孔性スコアや骨梁スコア等）と、それらのスコアの解釈及び治療の選択に役立つ情報とを両方含み得る。

この情報は、随意的には、比較可能なスコアを有する以前の（１つ以上の）被験者又は患者のコホートの診断、及び／又は、そのコホートに処方された治療又は療法を含み得る。実際に、幾つかの実施形態では、特徴評価部２８は随意的な前例比較器２９を含むのであって、これは、機械学習モデル４６によって生成された結果（特に、スコア等の数値的結果）とドメイン知識４８からのそのような情報とを比較し、（被験者が疾患を有している可能性又はそれぞれの可能性を割り当てることによって）診断及びその比較に基づいた治療／療法推奨案を自動的に形成し、これらを報告生成器３２に出力して報告にこれらが含まれるようにするように構成されている。

報告は、疾患進行監視及び治療有効性の結果をも含み得る。例えば、被験者又は患者の骨折危険性がフォローアップ検査で減少したものと認められた場合には、治療が奏功したと看做され得る。

報告は、類似又は反対の事例を表示することもできる。医療従事者の予後評価及び治療決定に関しては、類似の又は反対の事例を示すことは、有用たり得る。類似の又は反対の事例を提示すると、未熟なユーザを訓練するのに役立ったり、モデル４６から生成された結果をユーザが確認することに役立ったりする。また、類似の又は反対の事例を研究することによって、異なる治療選択肢に対して過去の被験者又は患者がどのように反応したかについて知見を得ることができ、現患者に対しての治療の有効性（又は提案治療の推定される有効性）について医療従事者が評価できることになる。

これらの結果及び情報の全てが報告生成器３２によって報告１６６に含められるのであって、報告生成器３２が報告１６６を（結果出力３６を介して）ユーザインタフェース１４（例えば、ウェブブラウザ、ＰＣアプリケーション、又はモバイル機器アプリ等）へとユーザ閲覧のために配信する。

図８は骨脆弱性用途におけるシステム１０の例示的実施形態について示す。画像データは手首ＨＲｐＱＣＴスキャン１７２を含み、非画像データは患者基礎情報１７４を含む。図８に示すように、セグメンタ及び識別器２４は（訓練済みセグメンテーション及び識別モデル４６を用いて、）橈骨を識別及び抽出１７６してそれを構造（密皮質、遷移ゾーン、及び骨梁領域）にセグメント１７８する。この構造的セグメンテーションに基づいて、特徴定量化部２５は、皮質多孔性１８０及び骨梁密度１８２を決定する。

非画像データプロセッサ２６は、クエリを用いて、非画像データの基礎患者情報１７４から性別１８６及び年齢１８８を抽出する。特徴評価部２８は、４つの特徴たる皮質多孔性１８０、骨梁密度１８２、性別１８６及び年齢１８８を受信する。特徴評価部２８は、（この例では骨崩壊モデルとして）別の訓練済みモデル４６''を用いて、先述の４つの特徴１８０，１８２，１８６，１８８を評価することによって、構造的脆弱性スコア１９０を生成する。代替的には、骨崩壊モデル４６'はZebazeら（“Increased Cortical Porosity and Reduced Trabecular Density Are Not Necessarily Synonymous With Bone Loss and Microstructural Deterioration”（「増大した皮質多孔性及び減少した骨梁密度は必ずしも骨減少及び微細構造劣化と同義ではない」）(JBMR Plus (２０1８))）によって説明されるアルゴリズム等を用いて訓練されることができる。ここで、訓練データ４４は先述の４つの特徴１８０，１８２，１８６，１８８を表しており、正しい骨脆弱性診断を伴ってアノテーション済みとなっている。

脆弱性スコア１９０及び他の情報は報告生成器３２によって用いられて報告１６６を生成するのであり、これは終局的にはユーザインタフェース１４（この例の場合においてはウェブブラウザ）へ出力される。

図９は、システム１０の報告生成器３２によって生成された例示的報告２００を示す。報告２００は複数の欄を含み、次の通りである：被験者／患者詳細事項欄２０２、骨容積分率マップ欄２０４、スコア欄２０６及びスコアグラフ欄２０８。被験者／患者詳細事項欄２０２は典型的には、書誌的事項（例えば、氏名、生年月日、性別及び年齢）、医師の氏名（又は複数人の医師の氏名）、データ取得日、及びデータ処理日（なお、当該日が報告２００の日付にもなる）。

骨容積分率マップ欄２０４は、この例では患者の橈骨骨容積についての偽色３Ｄ再構築例２１０と、対応する参照例としての（典型的には健康な）橈骨容積についての偽色３Ｄ再構築例２１２と、偽色凡例２１４とを含む。（なお、図９の色彩はグレイスケールで再現されていることに留意されたい。）偽色は「骨容積分率」を表すために用いられており、これはサンプルの単位容積辺りの石灰化した骨の容積である。報告２００は、再構築例２１０，２１２を隣接して提示することによって医療従事者が（この例では骨減少の）程度及び分布を容易に評価できるようする。

スコア欄２０６は特徴評価部２８によって生成されたスコアを含む。この例では、これらのスコアは脆弱性スコア２１６、多孔性スコア２１８及び骨梁スコア２２０であり、百分率で示されている。脆弱性スコア２１６は、併存している皮質及び骨梁の崩壊度合いを示す。多孔性スコア２１８は、骨皮質の多孔性の度合いを示す。骨梁スコア２２０は、骨梁領域の密度を示すスコアである。

随意的には、これらのスコア２１６，２１８，２２０は、図式的に各バー２２２，２２４，２２６上で表されることができ、例えばスコアはスライダー２２８，２３０，２３２として表され得る。この例では、各バーに３つの値がラベル付けされる：バーの両端のスコアを示す下方値及び上方値、並びに、減少リスク及び増大リスク（又は正常及び異常）の範囲の間の分水嶺を示す第３の値。例えば、示された例の脆弱性スコア２１６に関するバー２２２では、それぞれは、２０％、９０％及び７０％である。示された例の多孔性スコア２１８に関するバー２２４ではそれぞれは２０％、６０％及び４６％であり、また、示された例の骨梁スコア２２０に関するバー２２６ではそれぞれは０％、１０％及び２％である。

これらの３つの値（下方値、上方値、及び減少リスクと増大リスクとの間の分断値）は、例えば訓練データ４４又はドメイン知識４８内に含まれる前例データから決定される。代替的には、システム１０が１つ以上の外部データベースにアクセスして全部又は一部の前例データを得ることができる。

随意的にはバー２２２，２２４，２２６は色塗りされたりシェーディングされたりすることができ、これによって減少リスク２３４及び増大リスク２３６の領域を示すことができ、これによってそれぞれのスライダー２２８，２３０，２３２（そしてそれ故にスコア２１６，２１８，２２０）が、高リスク又は低リスク被験者に関連付けられている前例データに、対応しているかを即時的且つ視覚的に明らかとすることができる。図９では、より高濃度のシェーディングを用いてより高いリスクの領域を示している。

したがって、スコア欄２０６にて報告２００は次のスコアをもたらす：脆弱性スコア２１６として７５％（増大リスクを示す）；多孔性スコアとして３７％（減少リスクを示す）；及び骨梁スコアとして１％（増大リスクを示す）。これらのスコアは単体でも組合せでも診断を構成はしない。なぜならば、これらは特定の疾患又は苦痛を識別しないからである。もっとも、これらは症状について有益な兆候及びそれらの症状がどの程度顕著であるかの情報をユーザに知らせる。

スコアグラフ欄２０８は、脆弱性スコア（ＦＳ（（％）））、多孔性スコア（ＰＳ（（％）））、及び骨梁スコア（ＴＳ（（％））についてのプロット２４０，２４２，２４４を提示するのであって、それぞれは時間Ｔの経過に合わせて変遷する。図示の例では時間軸の分割は典型的には１〜２日程であるが、一般的には、各分割はスキャン間の時間を表す（つまり、単一のグラフ内の分割は必ずしも一定の時間差を表さないということもいえる。）。図９では、プロット２４０，２４２，２４４は、先ずスコア欄２０６のスコアを示し、各事例に関しては一連のフォローアップ診察で得られたスコアがそれに続く。それによって、プロット２４０，２４２，２４４は医療従事者が被験者に起きている変化を迅速に評価できるようするのであって、ここでいう変化は突発的な変化や治療に応答しての変化やその他の変化を含む。

当業者ならば、本発明の範疇から逸脱せずに多くの変更を加えることができることを悟るはずであり、特に、本発明の実施形態の特定の特徴を用いてさらなる実施形態をもたらし得ることに留意されたい。

仮に、先行技術についての参照が本明細書中にあったとしても、そのような参照は、任意の国においてその先行技術が周知技術の一部をなすとの自白を形成しないことに留意されたい。

添付の特許請求の範囲及び先述の発明の詳細な説明においては、明文又は必然的黙示によって文脈が別段の解釈を要求しない限り、「備える」との用語や「備える」（三人称単数現在形）や「備えている」等の用語は包括的な意味合いで（即ち、宣言された特徴の存在を指定する意味で）用いられておるが、本発明の様々な実施形態にさらなる特徴が存在していたり追加されていたりすることを阻却するものではない。

１２ 画像分析コントローラ
１４ ユーザインタフェース
１６ ＧＵＩ
１８ プロセッサ
２０ メモリ
４０ 画像データ記憶部
４４ 訓練データ
４８ 領域知識
２００ 報告

Claims (20)

1. コンピュータ実装の画像分析方法であって、該方法は、
   被験者の医療画像からセグメント及び識別された１つ以上の特徴を定量化するステップと、
   前記被験者に関する非画像データを１つ以上の非画像データ源から抽出するステップと、
   前記被験者に関する前記非画像データから、臨床的に関連する特徴を抽出するステップと、
   前記医療画像からセグメントされた前記定量化済み特徴及び前記非画像データから抽出された前記特徴を、訓練済み機械学習モデルをもって評価するステップと、
   前記特徴の評価についての１つ以上の結果を出力するステップとを含む、方法。
2. 請求項１に記載の方法において：
   ａ）前記画像を受信して、また、前記画像から１つ以上の特徴をセグメントするステップ、又は
   ｂ）前記画像をそこからセグメントされた特徴と共に受信するステップ；及び
   前記画像からセグメントされた前記特徴を識別するステップを含む、方法。
3. 請求項１又は２に記載の方法において、前記セグメント及び識別することは機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルによって実装され、該モデルは前記特徴を前記画像からセグメント及び識別するように構成されている、方法。
4. 請求項３に記載の方法において、前記訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える、方法。
5. 請求項１乃至４のいずれか１つに記載の方法において、前記訓練済み機械学習モデルは
   （ａ）疾患分類モデル；
   （ｂ）患者データから抽出された特徴と、疾患又は非疾患を示すラベル又はアノテーションとを用いて訓練されたモデル；及び／又は
   （ｃ）深層学習ニューラルネットワーク又は他の機械学習アルゴリズムを備える、方法。
6. 請求項１乃至５のいずれか１つに記載の方法において、前記訓練済み機械学習モデルは、１つ以上の筋骨格疾患を診断及び／又は監視するように訓練されたモデルである、方法。
7. 請求項１乃至６のいずれか１つに記載の方法において、（ｉ）前記訓練済み機械学習モデルを訓練するステップ、及び／又は（ｉｉ）新たな又は新たに分析された、被験者データから導出された追加的ラベル付け済みデータを伴って前記訓練済み機械学習モデルを更新するステップをさらに含む、方法。
8. 請求項１乃至７のいずれか１つに記載の方法において、前記結果は、（ｉ）１つ以上の疾患分類；（ｉｉ）１つ以上の疾患確率；及び／又は（ｉｉｉ）１つ以上の骨折危険性スコアを含む、方法。
9. 請求項１乃至８のいずれか１つに記載の方法において、前記評価は骨脆弱性評価を含む、方法。
10. 画像分析システムであって、該システムは、
    被験者の医療画像からセグメント及び識別された１つ以上の特徴を定量化するように構成された特徴定量化部と、
    前記被験者に関する非画像データを１つ以上の非画像データ源から抽出し、また、臨床的に関連する特徴を前記被験者に関する非画像データから抽出するように構成された非画像データプロセッサと、
    前記医療画像からセグメントされた前記特徴及び前記非画像データから抽出された前記特徴を、訓練済み機械学習モデルをもって評価するように構成された特徴評価部と、
    前記特徴の評価についての１つ以上の結果を出力するように構成された出力部とを備える、システム。
11. 請求項１０に記載のシステムにおいて、前記画像を受信し、１つ以上の特徴を前記画像からセグメントし、及び前記画像からセグメントされた前記特徴を識別するように構成されたセグメンタ及び識別器をさらに備える、システム。
12. 請求項１１に記載のシステムにおいて、前記セグメンタ及び識別器は、機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルを備えており、該モデルは前記特徴を前記画像からセグメント及び識別するように構成されている、システム。
13. 請求項１２に記載のシステムにおいて、前記訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える、システム。
14. 請求項１０乃至１３のいずれか１つに記載のシステムにおいて、前記訓練済み機械学習モデルは
    （ａ）疾患分類モデル；
    （ｂ）患者データから抽出された特徴と、疾患又は非疾患を示すラベル又はアノテーションとを用いて訓練されたモデル；及び／又は
    （ｃ）深層学習ニューラルネットワーク又は他の機械学習アルゴリズムを備える、システム。
15. 請求項１０乃至１４のいずれか１つに記載のシステムにおいて、前記訓練済み機械学習モデルは、１つ以上の筋骨格疾患を診断及び／又は監視するように訓練されたモデルである、システム。
16. 請求項１０乃至１５のいずれか１つに記載のシステムにおいて、新たな又は新たに分析された被験者データから導出された追加的ラベル付け済みデータを伴って前記訓練済み機械学習モデルを更新するように構成された機械学習モデル訓練器をさらに備える、システム。
17. 請求項１０乃至１６のいずれか１つに記載のシステムにおいて、前記結果は、（ｉ）１つ以上の疾患分類；（ｉｉ）１つ以上の疾患確率；及び／又は（ｉｉｉ）１つ以上の骨折危険性スコアを含む、システム。
18. 請求項１０乃至１７のいずれか１つに記載のシステムにおいて、前記特徴評価部は骨脆弱性を評価するように構成されている、システム。
19. １つ以上のコンピューティング装置によって実行されると、請求項１乃至９のいずれか１つに記載の画像分析方法を実施するように構成された命令を備えるコンピュータプログラムコード。
20. 請求項１９に記載のコンピュータプログラムコードを備えるコンピュータ可読媒体。