JP2019195627A - 解剖学的画像の解析のためのシステム及び装置 - Google Patents

Abstract

【課題】医用解剖学的画像の自動解析のための方法を提供する。【解決手段】方法は、各々が標的個人の独自の向きで取り込まれた二つの解剖学的画像を提供するステップと、第一および第二解剖学的画像を統計的クラシファイアの第一および第二畳込みニューラルネットワーク（ＣＮＮ）に入力して、第一および第二特徴ベクトルを出力するステップと、第一および第二特徴ベクトルの連結を統計的クラシファイアの全結合層内に入力するステップと、全結合層によって二つの解剖学的画像に存在する明確な視覚的所見の指標を計算するステップとを含む。統計的クラシファイアは、それぞれの標本個人の二つの解剖学的画像であって、各々が標的個人のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成されたタグとを含む訓練データセットで訓練される。【選択図】図１

Description

関連出願
本願は、２０１８年５月７日に出願した米国特許仮出願第１５／９７２９１２号、２０１９年２月７日に出願した米国特許出願第１６／２６９６３３号、及び２０１９年２月７日に出願した米国特許出願第１６／２６９６１９号（参照として本明細書中にそれらの全体を援用される）の利益を主張する。

技術分野
本発明は、その一部の実施形態では、医用解剖学的画像に関し、さらに詳しくは、医用解剖学的画像の自動解析のためのシステムおよび方法に関するが、それに限定されない。

Ｘ線画像などの医用解剖学的画像の（例えば放射線科医による）手動視覚評価は、大量の情報を処理する必要があるため、困難で時間のかかる仕事である。放射線科医は、多数のあり得る特徴が考えられる場合、解剖学的画像の関連特徴を同定しようと試みる。例えば、各医用解剖学的画像は、骨、様々な臓器、および様々な結合組織など複数の解剖学的対象物を含み、それぞれが異なる所見を呈する。

第一態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのコンピュータ実装方法は、標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するステップと、二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク（ＣＮＮ）に入力して、第一特徴ベクトルを出力するステップと、二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二ＣＮＮに入力して、第二特徴ベクトルを出力するステップと、第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層内に入力するステップと、全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するステップとを含み、統計的クラシファイアは、複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成される。

第二態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するための統計的クラシファイアを訓練する方法は、複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するステップと、複数の標本個人の各々について、複数の文のうちの少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを形成するステップと、複数の標本個人の各々に対し、それぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の同定のために統計的クラシファイアを訓練するステップとを含む。

第三態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのシステムは、少なくとも一つのハードウェアプロセッサによって実行されるコードが格納された非一時的メモリを含み、コードは、標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するためのコードと、二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク（ＣＮＮ）に入力して、第一特徴ベクトルを出力するためのコードと、二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二ＣＮＮに入力して、第二特徴ベクトルを出力するためのコードと、第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層に入力するためのコードと、全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するためのコードとを含み、統計的クラシファイアは、複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成される。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、解剖学的画像における視覚的所見を自動的に同定することの技術的問題に対処する。解剖学的画像における視覚的所見の自動検出は、幾つかの理由で、例えば解剖学的画像で見つかる可能性のある多数のあり得る視覚的所見、解剖学的画像で見つかる可能性のある視覚的所見の多数のあり得る組合せ、特定の視覚的所見を同定する際の視覚的明瞭性の欠如（人間インタープリタの間でさえも）のため、困難な技術的課題である。例えば、一つの実装形態に関連して本明細書に記載するように、４０のあり得る視覚的所見の任意の組合せが、訓練されたクラシファイアによって同定されることがあり得る。視覚的所見の幾つかの組合せは特定の医学的状況で共に現れることが注目される。例えば心臓肥大、肺門隆起、および肺水腫は、鬱血性心不全の状況で一緒に現れることがある。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、視覚的所見を同定するように解剖学的画像の自動解析の技術分野を改善する。一つの例示的改善は、本明細書に記載するように、（例えばＰＡＣＳサーバおよび／またはＥＭＲサーバに格納された）既存の解剖学的画像に関連付けられた既存の放射線医学レポートの使用に基づいており、それは、解剖学的画像の手動ラベリングを必要とすることなく、既存のデータを使用して超大規模訓練データセットを作成することを可能にする。本明細書に記載するように、ラベルは、解剖学的画像に関連付けられる予め作成されたテキストベースの放射線医学レポートに基づいて、自動的に生成される。超大規模データセットを使用できることは、訓練されたクラシファイアの精度を向上する。別の例示的な改善は、異なる向き角度で取り込まれた患者の二つ以上の解剖学的画像を使用することに基づく。クラシファイアで二つ以上の画像を処理することで、例えば特定の視覚的所見は特定の向きでよりよく検出され、かつ／または特定の視覚的所見は、両方（またはそれ以上）の画像が解析されたときに、よりよく検出されるので、分類の精度が向上する。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、二つ以上の解剖学的画像で視覚的所見を自動的に検出するためのクラシファイアを実装するコード命令を実行するコンピューティング装置の性能を改善する。性能の改善は、既存のコンピューティング資源（例えば、プロセッサ、および／またはデータ記憶装置）を使用して、視覚的所見を検出する精度を向上すること、および／または一セットのあり得る視覚的所見に対し任意の組合せの一つ以上の視覚的所見を検出できることに基づくことができる。例えば、訓練されたクラシファイアは、他の自動化方法と比較して、かつ／または人間の能力と比較して、向上した感度で視覚的所見を検出することができる。別の例では、コンピューティング装置の解剖学的画像に示された視覚的所見を正確に検出できる性能の向上は、例えば臨床的解釈および／または診断の検出のためにクラシファイアを訓練するのではなく、むしろ視覚的所見に従ってクラシファイアを訓練することに基づいている。クラシファイアは、より主観的になりがちな臨床的解釈および／または診断と比較して、より客観的な所見である、同定された視覚的所見をユーザに提供する。

第一、第二、および第三態様のさらなる実装形態では、二つの解剖学的画像は、解剖学的撮像センサからの患者の非平行な観察面を示す。

第一、第二、および第三態様のさらなる実装形態では、明確な視覚的所見の複数の指標の各々は、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文をクラスタ化することによって作成された複数のクラスタの一つに基づいている。

第一、第二、および第三態様のさらなる実装形態では、解剖学的撮像装置は、二次元解剖学的画像を取り込むＸ線装置を含む。

第一、第二、および第三態様のさらなる実装形態では、解剖学的撮像装置は、内外斜方向（ＭＬＯ）像および頭尾方向（ＣＣ）像を含め、乳房当たり二つの像の二次元解剖学的画像を取り込むマンモグラフィ装置を含む。

第一、第二、および第三態様のさらなる実装形態では、第一解剖学的画像は、標的個人が解剖学的撮像装置に対して側方に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して前後方向（ＡＰ）または後前方向（ＰＡ）方向に向けられたときに、取り込まれる。

第一、第二、および第三態様のさらなる実装形態では、第一解剖学的画像は、標的個人が解剖学的撮像装置に対して仰臥位に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して立位に向けられたときに取り込まれる。

第一、第二、および第三態様のさらなる実装形態では、標的個人の身体部分は、標的個人の胸部、腹部、および四肢のうちの少なくとも一つを含む。

第一、第二、および第三態様のさらなる実装形態では、クラシファイアは、全結合層によって二つの解剖学的画像のうちの少なくとも一つにおける少なくとも二つの視覚的所見の指標を計算する。

第一、第二、および第三態様のさらなる実装形態では、複数の視覚的所見は、大動脈異常、大動脈石灰化、人工弁、無気肺、気管支壁肥厚、心臓ベースメーカ、心臓肥大、セントラルライン、硬化、向斜角鈍化、退行性変化、横隔膜上昇、骨折、肉芽腫、横隔膜ヘルニア、肺門隆起、過膨張、間質性マーキング、脊柱後弯、腫瘤、縦隔拡大、腸ガス過多、小結節、整形外科、骨減少症、胸水、胸膜肥厚、気胸、肺水腫、肋骨骨折、脊柱側弯症、軟組織石灰化、胸骨切開ワイヤ、目立つ止血鉗子、裂溝の肥厚化、気管偏位、移植片、チューブ、および椎骨高さ喪失から成る群から選択された少なくとも二つの構成要素を含む。

第一、第二、および第三態様のさらなる実装形態では、複数の視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕から成る群から選択された少なくとも二つの構成要素を含む。

第一、第二、および第三態様のさらなる実装形態では、方法および／またはシステムはさらに、統計的クラシファイアによって、二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の各々の存在の確率を示す信頼度スコアを計算することを含む。

第一、第二、および第三態様のさらなる実装形態では、方法および／またはシステムはさらに、複数の視覚的所見の各々について信頼度スコアに従ってヒートマップを計算すること、および二つの解剖学的画像のうちの少なくとも一つのオーバレイ層としてヒートマップを提示することを含む。

第一、第二、および第三態様のさらなる実装形態では、方法および／またはシステムはさらに、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文を複数のクラスタにクラスタ化することを含み、明確な視覚的所見の複数の指標の各々は、複数のクラスタのうちの一つに基づいている。

第二態様のさらなる実装形態では、統計的クラシファイアは、二つの解剖学的画像のうちの入力された第一解剖学的画像に従って第一特徴ベクトルを計算する第一ＣＮＮと、二つの解剖学的画像のうちの入力された第二解剖学的画像に従って第二特徴ベクトルを出力するように設計された第二ＣＮＮと、第一特徴ベクトルおよび第二特徴ベクトルの連結に従って複数の視覚的所見のうちの少なくとも一つの所見の指標を出力する全結合層とを含む。

第一、第二、および第三態様のさらなる実装形態では、複数の標本個人の各個人の各テキストベースの放射線医学レポートについて、陽性所見を示すそれぞれのテキストベースの放射線医学レポートの複数の文のサブセットは、視覚的所見の複数の指標の一つにマッピングされ、陰性所見、中立データ、および不明瞭なデータのうちの少なくとも一つを示す複数の文の別のサブセットは、視覚的所見を示しておらず、視覚的所見の複数の指標の一つにマッピングされない。

第一、第二、および第三態様のさらなる実装形態では、方法および／またはシステムはさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、完全にカバーされた（ｆｕｌｌｙ−ｃｏｖｅｒｅｄ）訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の各々は、視覚的所見の複数の指標の一つ、陰性所見、および中立データのうちの一つにマッピングされ、クラシファイアは完全にカバーされた訓練データセットに従って訓練される。

第一、第二、および第三態様のさらなる実装形態では、方法および／またはシステムはさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、任意のヒット（ａｎｙ−ｈｉｔ）訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の少なくとも一つは、視覚的所見の複数の指標の一つにマッピングされ、クラシファイアは任意のヒット訓練データセットに従って訓練される。

第一、第二、および第三態様のさらなる実装形態では、統計的クラシファイアは、バイナリ交差エントロピ損失の平均に基づく主損失関数に従って訓練される。

第三態様のさらなる実装形態では、システムはさらに、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードを含み、コードは、複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するためのコードと、複数の標本個人の各々に対し、複数の文の少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを作成するためのコードと、複数の標本個人の各々についてそれぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードとを含む。

別途定義されない限り、本明細書で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。

本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。

図１は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するための方法のフローチャートである。

図２は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するための、かつ／または標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するようにクラシファイアを訓練するためのシステムの構成部品のブロック図である。

図３は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するようにクラシファイアを訓練する方法のフローチャートである。

図４は、本発明の一部の実施形態に係る、解剖学的画像における視覚的所見の指標を計算するためのクラシファイアのアーキテクチャの略図である。

図５は、本発明の一部の実施形態に係る、訓練タグ（本明細書ではラベルともいう）を生成するためにテキストベースの放射線医学レポートの文を解析する例を示す略図である。

図６は、本発明の一部の実施形態に係る、解剖学的画像に示された一セットのあり得る例示的な視覚的所見である。

図７は、本発明の一部の実施形態に係る、実験に用いられた訓練画像に関連付けられた放射線医学レポートから同定された上位４０の視覚的所見の表である。

図８は、本発明の一部の実施形態に係る、実験に用いられた評価セットの構成をまとめた表である。

図９は、本発明の一部の実施形態に係る、実験で用いられた評価セットの１２の視覚的所見を含む陽性検査の百分率、およびラベル割当てが正しかった陽性検査の百分率をまとめた表である。

図１０は、本発明の一部の実施形態に係る、実験で述べた胸部Ｘ線所見のうちの４０の視覚的所見の各々に対する、訓練されたクラシファイアの複数のＲＯＣプロットを含む。

図１１は、本発明の一部の実施形態に係る、実験の各検査のＰＡ像だけで訓練された変形例と比較して、訓練されたクラシファイアによって達成されたＲＯＣ曲線下面積（ＡＵＣ）のグラフである。

図１２は、本発明の一部の実施形態に係る、実験で用いられた二つの解剖学的画像により訓練された（すなわち、ベースと表記され、ＰＡ像および側面像を用いて訓練された）本明細書に記載するクラシファイアとの比較のために、一つの解剖学的画像（すなわちＰＡ像）だけで訓練した本明細書に記載するクラシファイアの変形例の結果を提示する表である。

図１３は、本発明の一部の実施形態に係る、実験で用いられたクラシファイアの結果に従って計算されたヒートマップの画像を含む。

図１４は、本発明の一部の実施形態に係る、実験で用いられた放射線医学レポートのセットにおいて最も頻度の高い肯定的な文および対応する発生回数を提示する表である。

図１５は、本発明の一部の実施形態に係る、特定の視覚的所見にマッピングされた文によって完全にカバーされている、実験に用いられた放射線医学レポートの数を、マッピングされた文の数の関数として表すグラフである。

図１６は、実験に関連して記載するように、様々な視覚的所見に対する、割り当てられた手動放射線医学タガー（Ａ〜Ｇと表記）の一致率を提示する表である。

本発明は、その一部の実施形態では、医用解剖学的画像に関し、さらに詳しくは、医用解剖学的画像の自動解析のためのシステムおよび方法に関するが、それに限定されない。

本明細書で使用する場合、二つの解剖学的画像という用語は例示であって、必ずしも限定ではない。二つの解剖学的画像は最も一般的な医療慣行、例えば二つの関連する解剖学的画像を表しており、それらのテキストベースの放射線医学レポートは、既存のＰＡＣＳおよび／またはＥＭＲに格納されてよい。本明細書に記載する教示に基づいて、より多くの解剖学的画像を実装してもよいことが注目される。例えばクラシファイアは、三種類の解剖学的画像の各々について訓練されたそれぞれのＣＮＮを使用して、三つの解剖学的画像を解析するように訓練されてよい。そのようなクラシファイアは、異なる撮影方向の複数の解剖学的画像、例えばＡＰ神経像、内旋、外旋、側面像、および関節窩像が得られる場合、例えば肩部を解析するために使用されてよい。

本明細書で使用する場合、患者の少なくとも身体部分の独自の向き、または独自の患者の向きという用語は、患者の身体部分および／または患者の全身の異なる向きで取り込まれる二つの解剖学的画像の各々を指すものであり、例えば、正面像および側面像、乳房の内外斜方向（ＭＬＯ）像および頭尾方向像などの撮像センサに対する患者の回旋、横臥から起立への姿勢の変化、ならびに第一位置から第二位置への四肢の回旋、例えば脚もしくは腕の内旋または脚もしくは腕の外旋がある。解剖学的画像は、画像を取り込んだ解剖学的撮像センサ（本明細書では解剖学的撮像装置ともいう）と、標的個人の身体部分のそれぞれの向きとの間の独自のセンサ角度で取り込まれる。独自の観察角度は、例えば斜角、または直角、または他の非平行値を有してよい。二つの解剖学的画像は相互に平行な観察面を表さず、例えば二つの解剖学的画像は３Ｄ ＣＴスキャンの平行なスライスではない。二つの解剖学的画像は、単に患者から撮像センサまでの距離を調整するのではなく、むしろ撮像センサに対する患者の旋回によって取り込まれてよい。代替的に、二つの解剖学的画像は、患者に対する撮像センサの回転および／または位置変更によって、例えば、単に撮像センサを患者に近づけるか患者から遠ざけるように平行移動するのではなく、むしろ撮像装置を患者の正面または側面に移動させることによって、取り込まれてよい。二つの解剖学的画像は、２Ｄスライスが非平行面である場合、３Ｄデータから２Ｄスライスとして抽出されてよく、例えば、ＭＲＩ装置によって収集された撮像データから、相互に斜めのスライスまたは直角のスライスが抽出されることが注目される。それぞれ独自の患者の向きで取り込まれた二つの解剖学的画像の例として、胸部Ｘ線の前後方向（ＡＰ）像および側面像、胸部Ｘ線の後前方向（ＰＡ）像および側面像、腹部Ｘ線の腹部の二つの像、ならびに二つの像、例えば仰臥位像および直立像が挙げられる。別の例では、二つ以上の解剖学的画像は、片方または両方の乳房のマンモグラフィ画像、例えば乳房の内外斜方向（ＭＬＯ）像および頭尾方向像が含まれてよい。二つ以上のマンモグラフィ像の例示的な視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕、ならびに放射線医学レポートで放射線科医によって一般的に記載される他の視覚的所見を含む。

本発明の一部の実施形態の態様は、二つの解剖学的画像のうちの少なくとも一つにおいて複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するためのシステム、装置、方法、および／またはコード命令（すなわちデータ記憶装置によって格納され、一つ以上のハードウェアプロセッサによって実行可能なコード命令）に関する。二つの解剖学的画像の各々は、標的個人の少なくとも身体部分の独自の向きで取り込まれる。独自の向きの一つを示す解剖学的画像の一つは、統計的クラシファイアの畳込みニューラルネットワーク（ＣＮＮ）に送り込まれる。ＣＮＮは、特定の独自の向きを示す解剖学的画像を処理するように設計される。独自の向きのうちのもう一方を示す他の解剖学的画像は、統計的クラシファイアの別のＣＮＮに送り込まれる。この他方のＣＮＮは、他方の独自の向きを示す解剖学的画像を処理するように設計される。各ＣＮＮはそれぞれの特徴ベクトルを出力する。出力された二つの特徴ベクトルは連結され、全結合層に入力される。全結合層は、解剖学的画像の一方または両方に存在する一つ以上の明確な視覚的所見の指標を出力する。指標は、解剖学的画像の一方または両方で見つかる可能性のある、一セットのあり得る明確な視覚的所見によるものである。

解剖学的画像は多くの所見を表し、各解剖学的画像は、視覚的所見を表さないか、一つの視覚的所見、または明確な視覚的所見の最大総数までの複数の視覚的所見を表すことがあり得る。本明細書に記載するクラシファイアは、例えばクラシファイアが解剖学的画像で単一の種類の特徴を検出するように訓練される他の方法とは対照的に、一セットのあり得る視覚的所見から一つ以上の視覚的所見を検出する。

本発明の一部の実施形態の態様は、標的個人の一セットの二つの解剖学的画像における複数のあり得る視覚的所見から一つ以上の視覚的所見を同定するように統計的クラシファイアを訓練するためのシステム、装置、方法、および／またはコード命令（すなわちデータ記憶装置に格納され、一つ以上のハードウェアプロセッサによって実行可能なコード命令）に関する。統計的クラシファイアは、複数の標本個人のうちの各標本個人に対して提供された二つの解剖学的画像に基づいて作成された、訓練データセットに従って訓練される。二つの解剖学的画像は、標的個人の少なくとも身体部分のそれぞれの独自の向きで取り込まれる。各セットの二つの解剖学的画像は、（例えば放射線科医が手動で画像を解釈することによって作成された）テキストベースの放射線医学レポートに関連付けられる。各テキストベースの放射線医学レポートは複数の文を含む。文の一つ以上は、それぞれの標本個人の解剖学的画像の一方または両方に存在するあり得る明確な視覚的所見の一つにマッピングされる。

あり得る明確な視覚的所見のセットは、グローバルなセットの指標を表す。異なる放射線医学レポートからの異なる文は、同一の視覚的所見にマッピングされることがあり得る。文の変形は放射線科医によって使用される個人化された言葉遣いから生じるものであり、事実上、文の全ての変形は実際には同じ種類の視覚的所見を指し示す。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、解剖学的画像における視覚的所見を自動的に同定することの技術的問題に対処する。解剖学的画像における視覚的所見の自動的検出は、幾つかの理由から、困難な技術的問題である。例えば、解剖学的画像で見つかる可能性のある多数のあり得る視覚的所見、解剖学的画像で見つかり得る視覚的所見の多数のあり得る組合せ、特定の視覚的所見の同定における視覚的明瞭性の欠如（人間インタープリタの間でさえも）。例えば、一つの実装形態に関連して本明細書に記載するように、４０のあり得る視覚的所見のどの組合せも、訓練されたクラシファイアによって同定され得る。視覚的所見の幾つかの組合せは特定の医学的状況で共に現れることが注目される。例えば心臓肥大、肺門隆起、および肺水腫は、鬱血性心不全の状況で一緒に現れることがある。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも幾つかは、視覚的所見を同定するための解剖学的画像の自動解析の技術的分野を改善する。一つの例示的な改善は、本明細書に記載するように、（例えばＰＡＣＳサーバおよび／またはＥＭＲサーバに格納された）既存の解剖学的画像に関連付けられる既存の放射線医学レポートの使用に基づくものであり、それは、解剖学的画像の手動ラベリングを必要とすることなく、既存のデータを使用して超大規模訓練データセットを作成することを可能にする。本明細書に記載するように、ラベルは、解剖学的画像に関連付けられる予め作成されたテキストベースの放射線医学レポートに基づいて、自動的に生成される。超大規模データセットを使用できることで、訓練されたクラシファイアの精度が向上する。別の例示的な改善は、異なる向き角度で取り込まれた患者の二つ以上の解剖学的画像の使用に基づく。クラシファイアにより二つ以上の画像を処理することで、分類の精度は向上した。例えば、特定の視覚的所見は特定の向きの方がよりよく検出され、かつ／または特定の視覚的所見は、両方（またはそれ以上）の画像が解析される場合に、よりよく検出される。

別の例では、改善は、解剖学的画像を解釈する放射線科医によって作成された既存の放射線医学レポートの使用に基づいて達成される。既存の放射線医学レポートは、クラシファイアを訓練するために構造化されたラベルを提供するためではなく、むしろ、診療を目的として、検査を依頼した内科医に解釈を提供するために作成されたので、そのようなレポートの使用は技術的課題を提起する可能性がある。例えば、放射線科医は、簡潔性を優先して正常な構造について言及することを怠り、よって陰性ラベルを暗示することがあるので、そのようなレポートの使用は技術的課題を提起する。このバイアスは、軽度異常または老化による変化さえも除外される多くの検査に広がる。例えば同一ＣＸＲが、一人の放射線科医による「急性疾患なし」という一行のレポート、および別の放射線科医による心臓肥大および退行性変化という説明を生成することがある。実際、他の方法は、放射線医学レポートに依存してタグを作成するのではなく、むしろクラシファイアを訓練するための訓練データセットを作成するために、放射線医学レポートとは無関係に解剖学的画像に注釈が付けられる、しっかり構築されたラベリングシステムを使用する。放射線医学レポートに依存しない方法は、よく定義されたインデクシング方法（例えば、本明細書に詳述するように、ＭｅＳＨ）を使用するが、それとは対照的に、本明細書に記載するシステム、方法、装置、および／またはコード命令は、レポートの実際のテキストに基づいて陽性ラベルのセットを生成する。さらに、放射線科医が正常所見、軽度異常所見、Ｘ線検査を依頼するための臨床適応に無関係な所見、一般的集団にとっては異常所見であるが、患者の人口統計学的グループでは一般的にみられる所見（例えば高齢者集団で一般的にみられる退行性変化）の言及を怠り、かつ／または以前のＸ線写真で観察され、実質的に変化していない異常を言及し損なう怠慢バイアスは、特に重篤とは思われない所見に対し、より控えめな、完全にカバーされた訓練セットでさえも（完全にカバーされた訓練セットについては後でさらに詳述する）、ラベリングプロセスにノイズを導入するおそれがある。本明細書に、特に実施例の節に記載するように、発明者らは、放射線医学レポートを使用することによって導入されるそのような統計ノイズが、タグ付け（すなわち「手動タグ付け」）を行うように放射線科医を訓練することによって付加されるノイズより大きくはないことを発見した。したがって、本明細書に記載するように、クラシファイアの訓練用の大規模訓練データセットを作成するため、解剖学的画像用のラベルを自動生成するように既存の放射線医学レポートを使用することによって訓練されたクラシファイアは、各解剖学的画像に手動でタグ付けする場合と比較して、導入されるノイズによって統計学的に影響されない。

放射線科医によって実行される解剖学的画像の手動解釈は、見つかる可能性のある多数のあり得る所見のため、困難な仕事である。例えば、胸部Ｘ線撮影（ＣＸＲ）は、多くの心疾患および肺疾患のスクリーニングおよび診断のために、非常に一般的に実行される放射線検査であり、米国だけで年間１億５０００万を超える画像が得られている。ＣＸＲは、縦断的調査および急性期トリアージの基礎である。各ＣＸＲは、依頼された臨床適応のためだけではなく、多数のあり得る所見につながる他の異常を検出するためにも解釈される。人間の放射線科医は何らかの所見を容易に見落とすおそれがある。検査の偏在およびその明らかな技術的単純性にもかかわらず、胸部Ｘ線写真は、例えば、Ｒｏｂｉｎｓｏｎ，Ｐ．Ｊ．、Ｗｉｌｓｏｎ，Ｄ．、Ｃｏｒａｌ，Ａ．、Ｍｕｒｐｈｙ，Ａ．、Ｖｅｒｏｗ、Ｐ．：Ｖａｒｉａｔｉｏｎ ｂｅｔｗｅｅｎ ｅｘｐｅｒｉｅｎｃｅｄ ｏｂｓｅｒｖｅｒｓ ｉｎ ｔｈｅ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ａｃｃｉｄｅｎｔ ａｎｄ ｅｍｅｒｇｅｎｃｙ ｒａｄｉｏｇｒａｐｈｓ、Ｔｈｅ Ｂｒｉｔｉｓｈ ｊｏｕｒｎａｌ ｏｆ ｒａｄｉｏｌｏｇｙ ７２（８５６）（４ １９９９）３２３‐３０に関連して記載されるように、極めることが最も難しいものの一つであることが放射線科医の間で広く認識されている。さらに、放射線写真の迅速かつ正確な解釈を提供する能力のある内科医は、世界中で大幅に不足している。放射線科医の供給不足のため、放射線技師が予備的解釈を提供するように要請されることが、特に欧州およびアフリカで増えている。米国では、非放射線内科医がしばしばＣＸＲの予備的または確定的な読影を提供し、診断精度という些細ではないコストを払って待機時間を減らしている。熟練した放射線科医の間でさえ、例えば、Ｒｏｂｉｎｓｏｎ，Ｐ．Ｊ．、Ｗｉｌｓｏｎ，Ｄ．、Ｃｏｒａｌ，Ａ．、Ｍｕｒｐｈｙ，Ａ．、Ｖｅｒｏｗ、Ｐ．：Ｖａｒｉａｔｉｏｎ ｂｅｔｗｅｅｎ ｅｘｐｅｒｉｅｎｃｅｄ ｏｂｓｅｒｖｅｒｓ ｉｎ ｔｈｅ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ａｃｃｉｄｅｎｔ ａｎｄ ｅｍｅｒｇｅｎｃｙ ｒａｄｉｏｇｒａｐｈｓ、Ｔｈｅ Ｂｒｉｔｉｓｈ ｊｏｕｒｎａｌ ｏｆ ｒａｄｉｏｌｏｇｙ ７２（８５６）（４ １９９９）３２３‐３０、およびＢｒａｄｙ，Ａ．、Ｌａｏｉｄｅ，Ｒ．、ＭｃＣａｒｔｈｙ，Ｐ．、ＭｃＤｅｒｍｏｔｔ，Ｒ．：Ｄｉｓｃｒｅｐａｎｃｙ ａｎｄ ｅｒｒｏｒ ｉｎ ｒａｄｉｏｌｏｇｙ：ｃｏｎｃｅｐｔｓ，ｃａｕｓｅｓ ａｎｄ ｃｏｎｓｅｑｕｅｎｃｅｓ、Ｔｈｅ Ｕｌｓｔｅｒ ｍｅｄｉｃａｌ ｊｏｕｒｎａｌ ８１（１）（１ ２０１２）３‐９に関連して記載されるように、検査の３〜６％で臨床的に実質的な誤りが起きており、例えばＢｒｕｎｏ，Ｍ．Ａ．、Ｗａｌｋｅｒ，Ｅ．Ａ．、Ａｂｕｊｕｄｅｈ，Ｈ．Ｈ．：Ｕｎｄｅｒｓｔａｎｄｉｎｇ ａｎｄ Ｃｏｎｆｒｏｎｔｉｎｇ Ｏｕｒ Ｍｉｓｔａｋｅｓ：Ｔｈｅ Ｅｐｉｄｅｍｉｏｌｏｇｙ ｏｆ Ｅｒｒｏｒ ｉｎ Ｒａｄｉｏｌｏｇｙ ａｎｄ Ｓｔｒａｔｅｇｉｅｓ ｆｏｒ Ｅｒｒｏｒ Ｒｅｄｕｃｔｉｏｎ、ＲａｄｉｏＧｒａｐｈｉｃｓ ３５（６）（１０ ２０１５）１６６８‐１６７６に関連して記載されるように、３０％に軽微な誤りがみられている。一部のエンティティの正確な診断は特に困難である。例えば、初期肺がんは症例の１９〜５４％で見落とされており、気胸および肋骨骨折の検出に対し、同様の感度数値が記載されている。主要な診断ミスの可能性は交代勤務時間の長さおよび解釈する検査の量の両方に直接相関し、例えばＨａｎｎａ，Ｔ．Ｎ．、Ｌａｍｏｕｒｅｕｘ，Ｃ．、Ｋｒｕｐｉｎｓｋｉ，Ｅ．Ａ．、Ｗｅｂｅｒ，Ｓ．、Ｊｏｈｎｓｏｎ，Ｊ．Ｏ．：Ｅｆｆｅｃｔ ｏｆ Ｓｈｉｆｔ，Ｓｃｈｅｄｕｌｅ、ａｎｄ Ｖｏｌｕｍｅ ｏｎ Ｉｎｔｅｒｐｒｅｔｉｖｅ Ａｃｃｕｒａｃｙ：Ａ Ｒｅｔｒｏｓｐｅｃｔｉｖｅ Ａｎａｌｙｓｉｓ ｏｆ ２．９ Ｍｉｌｌｉｏｎ Ｒａｄｉｏｌｏｇｉｃ Ｅｘａｍｉｎａｔｉｏｎｓ、Ｒａｄｉｏｌｏｇｙ（１１ ２０１７）１７０５５５に関連して記載されるように、所与の放射線科医にとって、一日のうちでも異なる時間では診断精度が実質的に変動することに気付くことが重要である。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、二つ以上の解剖学的画像における視覚的所見を自動的に検出するためのクラシファイアを実装するコード命令を実行するコンピューティング装置の性能を改善する。性能の改善は、既存のコンピューティング資源（例えばプロセッサ、および／またはデータストレージ）を使用して、視覚的所見の検出精度を向上すること、および／または一セットのあり得る視覚的所見に対し一つ以上の視覚的所見の任意の組合せを検出する能力に基づく可能性がある。例えば、訓練されたクラシファイアは、他の自動化方法と比較して、かつ／または人間の能力と比較して、向上した感度により、視覚的所見を検出する可能性がある。別の例では、解剖学的画像に示された視覚的所見を正確に検出するコンピュータ装置の能力の性能の改善は、例えば臨床的解釈および／または診断の検出のためにクラシファイアを訓練することではなく、むしろ視覚的所見に従ってクラシファイアを訓練することに基づいている。例えば肺炎の検出のためにクラシファイアを訓練する場合に、臨床的所見は合意することが難しい（すなわち主観的である）が、肺炎を示している可能性のある硬化は、より客観的な視覚的所見である。クラシファイアは、より主観的である臨床的解釈および／または診断と比較して、より客観的な所見である、同定された視覚的所見をユーザに提供する。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、医用画像処理の技術分野で、特に二次元の解剖学的画像の自動解析の分野で一つ以上の視覚的所見を同定するために、基礎となる技術的プロセスを改善する。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、視覚的所見を同定するように統計的クラシファイアを訓練し、かつ訓練された統計的クラシファイアを適用して視覚的所見を同定するための、独自で独特かつ高度な技術を提供する。一部の実装形態では、独自で独特かつ高度な技術は、医用画像に関連付けられたテキストベースの放射線医学レポートの個々の文をマッピングして、解剖学的画像における視覚的所見を示すラベルを作成することに基づく。一部の実装形態では、独自で独特かつ高度な技術は、患者の二つ以上の解剖学的画像の訓練および／または解析に基づくものであり、各解剖学的画像は患者および／または検査される身体部分の特定の独自の向きを示す。

本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、他のシステムおよび／または方法では解決されない技術的問題に対し技術的解決策を提供し、かつ／または他のシステムおよび／または方法と比較して、自動的解剖学的画像解析の技術に改善をもたらす。

例えば、Ｄｅｍｎｅｒ‐Ｆｕｓｈｍａｎ，Ｄ．、Ｓｈｏｏｓｈａｎ，Ｓ．Ｅ．、Ｒｏｄｒｉｇｕｅｚ，Ｌ．、Ａｎｔａｎｉ，Ｓ．、Ｔｈｏｍａ，Ｇ．Ｒ．：Ａｎｎｏｔａｔｉｏｎ ｏｆ Ｃｈｅｓｔ Ｒａｄｉｏｌｏｇｙ Ｒｅｐｏｒｔｓ ｆｏｒ Ｉｎｄｅｘｉｎｇ ａｎｄ Ｒｅｔｒｉｅｖａｌ（２０１５）９９‐１１１に関連して記載されるように、例えば、Ｓｈｉｎ，Ｈ．Ｃ．、Ｒｏｂｅｒｔｓ，Ｋ．、Ｌｕ，Ｌ．、Ｄｅｍｎｅｒ‐Ｆｕｓｈｍａｎ，Ｄ．、Ｙａｏ，Ｊ．、Ｓｕｍｍｅｒｓ，Ｒ．Ｍ．：Ｌｅａｒｎｉｎｇ ｔｏ ｒｅａｄ ｃｈｅｓｔ ｘ−ｒａｙｓ：Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｃａｓｃａｄｅ ｍｏｄｅｌ ｆｏｒ ａｕｔｏｍａｔｅｄ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）（Ｊｕｎｅ ２０１６）は、ＭｅＳＨシステムを使用して公開データセットにおける３９５５のＣＸＲレポートからラベルを抽出することに関係しているようである。対照的に、本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、既存のカテゴリおよび／またはＭｅＳＨなどのタグを使用するのではなく、むしろレポートの実際の文に基づくラベリングシステムを形成する。

Ｗａｎｇ，Ｘ．、Ｐｅｎｇ，Ｙ．、Ｌｕ，Ｌ．、Ｚ．Ｌ．，Ｏ．Ｃ．Ｖ．、２０１７、ｕ．：Ｃｈｅｓｔ ｒａｙ８：Ｈｏｓｐｉｔａｌ−ｓｃａｌｅ ｃｈｅｓｔ ｘ−ｒａｙ ｄａｔａｂａｓｅ ａｎｄ ｂｅｎｃｈｍａｒｋｓ ｏｎ ｗｅａｋｌｙ−ｓｕｐｅｒｖｉｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｃｏｍｍｏｎ ｔｈｏｒａｘ ｄｉｓｅａｓｅｓ、Ｏｐｅｎａｃｃｅｓｓ（ｄｏｔ）ｔｈｅｃｖｆ（ｄｏｔ）ｃｏｍに関連して記載されたＣｈｅｓｔＸ−ｒａｙ１４データセットは、ＮＬＰおよび手作りルールの組合せを使用して大まかにラベリングされた１１万２千のＰＡ画像を含む。Ｗａｎｇらは、患者の異なる向きの二つ以上の解剖学的画像を処理する本明細書に記載のシステム、方法、装置、および／またはコード命令とは対照的に、特定の一種類の解剖学的画像に関係するだけである。

Ｒａｊｐｕｒｋａｒ，Ｐ．、Ｉｒｖｉｎ，Ｊ．、Ｚｈｕ，Ｋ．、Ｙａｎｇ，Ｂ．、Ｍｅｈｔａ，Ｈ．、Ｄｕａｎ，Ｔ．、Ｄｉｎｇ，Ｄ．、Ｂａｇｕｌ，Ａ．、Ｌａｎｇｌｏｔｚ，Ｃ．、Ｓｈｐａｎｓｋａｙａ，Ｋ．、Ｌｕｎｇｒｅｎ，Ｍ．Ｐ．、Ｎｇ，Ａ．Ｙ．：ＣｈｅＸＮｅｔ：Ｒａｄｉｏｌｏｇｉｓｔ−Ｌｅｖｅｌ Ｐｎｅｕｍｏｎｉａ Ｄｅｔｅｃｔｉｏｎ ｏｎ Ｃｈｅｓｔ Ｘ−Ｒａｙｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（１１ ２０１７）は、提供されたＣｈｅｓｔＸ−ｒａｙ１４ラベル一般との高度の不一致を報告した四名の放射線科医のチームに関係しているが、彼らは、ＤｅｎｓｅＮｅｔ１２１ＣＮＮについて訓練した後、肺炎の存在について熟練者レベルの予測を達成する能力を実証している。対照的に、本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、人間の放射線科医との高い一致レベルを獲得し、かつ／または複数の異なる視覚的所見を正確に検出する能力を有する。

画像ラベルおよびレポートを備えた幾つかの公的データセットを利用して、Ｊｉｎｇ，Ｂ．、Ｘｉｅ，Ｐ．、Ｘｉｎｇ，Ｅ．：Ｏｎ ｔｈｅ Ａｕｔｏｍａｔｉｃ Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｒｅｐｏｒｔｓ（１１ ２０１７）は、階層ＲＮＮを使用して自然のように見える放射線医学レポートを生成するシステムの構築に関係しているようである。高レベルＲＮＮは、各文の単語を生み出す低レベルＲＮＮにシードを与える文章埋込みを生成する。レポート生成の一部として、画像に存在する臨床的所見を表すタグが生み出された。しかし、これらのタグおよびレポートのテキストを用いて訓練されたモデルは、タグだけを使用して訓練されたモデルよりも正確にタグを予測しなかった。しかし、システムの最終的な精度は、臨床放射線医学的検証の欠如のため、明確にされないままである。対照的に、本明細書に記載するシステム、方法、装置、および／またはコード命令の少なくとも一部は、既存のカテゴリおよび／または予め定められたタグを使用するのではなく、むしろレポートの実際の文に基づくラベリングシステムを作成する。

したがって、本明細書に記載するシステム、方法、装置、および／またはコード命令は、解剖学的画像の処理および／または解析で発生する実際の技術的問題を克服するために、コンピュータ技術および／または物理的構成要素（例えば解剖学的撮像装置、プロセッサ、記憶装置）と密接に結び付いている。

本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および／または図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。

本発明は、システム、方法、および／またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を搭載したコンピュータ可読記憶媒体（または複数の媒体）を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持しかつ格納することのできる有形の装置とすることができる。コンピュータ可読記憶媒体は、限定するわけではないが、例えば電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または前述のいずれかの適切な組合せであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラム可能型読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、および前述のいずれかの適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体中を伝播する電磁波（例えば光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号など、「一時的な信号」それ自体と解釈すべきではない。

本明細書に記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードするか、あるいはネットワークを介して、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、および／またはワイヤレスネットワークなどの外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含んでよい。各コンピューティング／処理装置のネットワーク・アダプタ・カードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

本発明の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または一つ以上のプログラミング言語の任意の組合せで書かれたソースコードもしくはオブジェクトコードのいずれかであってよく、そのようなプログラミング言語としては、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語といった従来の手続き型プログラミング言語が挙げられる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されてよい。後者のシナリオでは、リモートコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）をはじめ、任意の種類のネットワークを介して、ユーザのコンピュータに接続されてよく、あるいは（例えばインターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに接続を行ってもよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）をはじめとする電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人用に設定することによって、コンピュータ可読プログラム命令を実行してよい。

本発明の態様は、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図に関連して、本明細書に記載されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。

これらのコンピュータ可読プログラム命令は、マシンを生成するように汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてよく、その結果、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャートおよび／またはブロック図の一つたは複数のブロックに指定された機能／動作を実装するための手段を形成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、および／または他の装置に特定の仕方で機能するように指示することのできるコンピュータ可読記憶媒体に格納されてよく、その結果、命令がその中に格納されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つまたは複数のブロックに指定された機能／動作の態様を実装する命令を含んだ製品を含むことになる。

コンピュータ可読プログラム命令はまた、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他の装置上で実行させてコンピュータ実装プロセスを生み出すように、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされてもよく、その結果、コンピュータ、他のプログラマブル装置、または他の装置で実行される命令は、フローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作を実装する。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品のあり得る実装のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための一つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことがある。一部の代替的実装形態では、ブロックに記された機能は、図に記された順序を外れて発生し得る。例えば連続して示される二つのブロックは、実際には略同時に実行されてよく、あるいはブロックは、関係する機能に応じて、時には逆の順序で実行されることがある。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組合せは、指定された機能または動作を実行するかあるいは専用ハードウェアとコンピュータ命令の組合せを実行する、専用のハードウェアベースのシステムによって実装することができることも注目される。

次に図１を参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定する方法のフローチャートである。また、図２をも参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定し、かつ／または標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見の同定のためにクラシファイアを訓練するためのシステム２００の構成部品のブロック図である。また、図３をも参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見の同定のためにクラシファイアを訓練する方法のフローチャートである。システム２００は、任意選択的に、メモリ２０６に格納されたコード命令を実行するコンピューティング装置２０４のハードウェアプロセッサ２０２によって、図１および／または図３に関連して記載した方法の動作を実装し得る。

コンピューティング装置２０４は、例えばクライアント端末、サーバ、仮想サーバ、放射線医学ワークステーション、仮想マシン、コンピューティングクラウド、モバイル装置、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネ型コンピュータ、および時計型コンピュータとして実装されてよい。コンピューティング装置２０４は、同定された視覚的所見の指標および／または他のコンピュータ支援検出を放射線科医に提示するために、時々放射線医学ワークステーションおよび／または他の装置に追加される高度可視化ワークステーションを含んでよい。

コンピューティング装置２０４は、図１および／または図３に関連して記載した動作の一つ以上を実行する、局所的に格納されたソフトウェアを含んでもよく、かつ／またはネットワーク２１０を介してサービス（例えば図１および／または図３に関連して記載した動作の一つ以上）を一つ以上のクライアント端末２０８（例えば遠隔配置された放射線医学ワークステーション、リモート画像保管通信システム（ＰＡＣＳ）サーバ、リモート電子医療記録（ＥＭＲ）サーバ）に提供する一つ以上のサーバ（例えばネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として働いてもよく、サーバは、例えばサービス型ソフトウェア（ＳａａＳ）をクライアント端末２０８に提供し、ローカルダウンロード用のアプリケーションをウェブブラウザへのアドオンとして、および／または医用イメージングビューアアプリケーションをクライアント端末２０８に提供し、かつ／またはウェブブラウザなどを介してリモート・アクセス・セッションを使用して機能をクライアント端末２０８に提供する。

クラシファイアの訓練、および訓練されたクラシファイアの解剖学的画像への適用による視覚的所見の同定は、同一のコンピューティング装置２０４によって、かつ／または異なるコンピューティング装置２０４によって実装されてよく、例えば一つのコンピューティング装置２０４はクラシファイアを訓練し、訓練されたクラシファイアをサーバ装置２０４に伝送することが注目される。

本明細書で使用する場合、用語「解剖学的撮像装置」および「解剖学的撮像センサ」は時には置き換え可能に使用されることがある。

コンピューティング装置２０４は、解剖学的撮像装置２１２、例えばＸ線装置、磁気共鳴撮像（ＭＲＩ）装置、コンピュータ断層撮影（ＣＴ）装置、および／または超音波装置によって取り込まれた、２Ｄ画像、および／または一セットの２Ｄマンモグラフィ画像（乳房当たり二つ以上の像）、および／または２Ｄスライス（任意選択的に、相互に非平行である異なるスライス面で３Ｄ撮像データから抽出され、例えば３Ｄマンモグラフィスキャンから抽出される）を受信する。撮像装置２１２によって取り込まれた解剖学的画像は、画像リポジトリ２１４、例えばストレージサーバ、コンピューティングクラウド、仮想メモリ、およびハードディスクに格納されてよい。画像リポジトリ２１４によって格納された解剖学的画像は、任意選択的にテキストベースの放射線医学レポートに関連付けられた患者の画像を含んでよい。訓練画像２１６は、本明細書に記載するように、取り込まれた解剖学的画像およびテキストベースの放射線医学レポートに基づいて作成される。

訓練画像２１６は、本明細書に記載するように、クラシファイアを訓練するために使用される。訓練画像２１６は、例えば公開されている訓練データセット、および／または本明細書に記載するようにクラシファイアを訓練するために作成された、カスタマイズした訓練データセットなど、ネットワーク２１０を介してコンピューティング装置２０４でアクセス可能であるように、サーバ２１８によって格納されてよいことが注目される。

撮像装置２１２によって取り込まれた解剖学的画像は、標的患者の身体内の解剖学的特徴および／または解剖学的構造を示す。

コンピューティング装置２０４は、一つ以上の撮像インタフェース２２０、例えばワイヤ接続（例えば物理ポート）、ワイヤレス接続（例えばアンテナ）、ローカルバス、データ記憶装置の接続用ポート、ネットワーク・インタフェース・カード、他の物理インタフェース実装、および／または仮想インタフェース（例えばソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーション・プログラミング・インタフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ））を使用して、撮像装置２１２および／または画像リポジトリ２１４から訓練画像２１６を受信してよい。

ハードウェアプロセッサ２０２は、例えば中央処理装置（ＣＰＵ）、グラフィクス・プロセシング・ユニット（ＧＰＵ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、および特定用途向け集積回路（ＡＳＩＣ）として実装されてよい。プロセッサ２０２は一つ以上のプロセッサ（同種または異種）を含んでよく、それらは、並列処理用に、クラスタとして、かつ／または一つ以上のマルチコア処理装置として配設されてよい。

メモリ２０６（本明細書では、プログラム記憶素子および／またはデータ記憶装置ともいう）、例えばランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、および／または記憶装置、例えば不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブル記憶装置、および光媒体（例えばＤＶＤ、ＣＤ ＲＯＭ）は、ハードウェアプロセッサ２０２による実行のためのコード命令を格納する。例えばメモリ２０６は、図１に関連して記載した方法の一つ以上の動作および／または特徴を実装する画像処理コード２０６Ａ、および／または図３に関連して記載した方法の一つ以上の動作および／または訓練されたクラシファイア２２２Ａのコード命令を実行する訓練コード２０６Ｂを格納してよい。

コンピューティング装置２０４は、データ、例えば訓練されたクラシファイア２２２Ａ（本明細書に記載するように）、訓練画像２１６、および／またはテキストベースの放射線医学レポートを格納するためのデータ記憶装置２２２を含んでよい。データ記憶装置２２２は、例えばメモリ、ローカル・ハード・ドライブ、リモート記憶装置、光ディスク、記憶装置、および／またはリモートサーバおよび／またはコンピューティングクラウド（例えばネットワーク２１０を介してアクセスされる）として実装されてよい。訓練されたクラシファイア２２２Ａ、訓練画像２１６、および／またはテキストベースの放射線医学レポートはデータ記憶装置２２２に格納されてよく、実行部分はプロセッサ２０２による実行のためにメモリ２０６にロードされることが注目される。

コンピューティング装置２０４は、ネットワーク２１０に接続するために、データインタフェース２２４、任意選択的にネットワークインタフェース、例えばネットワーク・インタフェース・カード、ワイヤレスネットワークに接続するためのワイヤレスインタフェース、ネットワーク接続性のためケーブルに接続するための物理インタフェース、ソフトウェアで実装される仮想インタフェース、より高いレイヤのネットワーク接続性をもたらすネットワーク通信ソフトウェア、および／または他の実装のうちの一つ以上を含んでよい。コンピューティング装置２０４は、例えば更新された訓練画像２１６をダウンロードするため、かつ／または画像処理コード、訓練コード、および／または訓練されたクラシファイアの更新バージョンをダウンロードするために、ネットワーク２１０を使用して一つ以上のリモートサーバ２１８にアクセスしてよい。

コンピューティング装置２０４は、ネットワーク２１０または別の通信チャネルを使用して、例えば直接リンク（例えばケーブル、ワイヤレス）および／または間接リンク（例えばサーバなどの中間コンピューティング装置を経由し、かつ／または記憶装置を経由する）を介して、以下の一つ以上と通信してよい。
＊例えば、コンピューティング装置２０４がサーバとして働き、遠隔的に得られた解剖学的画像を解析するため、画像解析サービス（例えばＳａａＳ）をリモート放射線医学端末に提供する場合、クライアント端末２０８。
＊例えば、放射線クリニックの撮像装置によって取り込まれた、例えば解析用の多数の解剖学的画像および／または放射線医学レポートを格納し得るＰＡＣＳに関連して実装される、サーバ２１８。
＊解剖学的画像を格納する解剖学的画像リポジトリ２１４、および／または解剖学的画像を出力する撮像装置２１２。

撮像インタフェース２２０およびデータインタフェース２２４は、二つの独立したインタフェース（例えば二つのネットワークポート）として、共通物理インタフェース上の二つの仮想インタフェース（例えば共通ネットワークポート上の仮想ネットワーク）として存在し、かつ／または単一のインタフェース（例えばネットワークインタフェース）に統合されてよいことが注目される。

コンピューティング装置２０４は、ユーザがデータ（例えば患者データ）を入力しかつ／または同定された視覚的所見の指標を表示するように設計された機構を含むユーザインタフェース２２６を含むか、あるいはそれと通信する。例示的なユーザインタフェース２２６は、例えばタッチスクリーン、ディスプレイ、キーボード、マウス、ならびにスピーカおよびマイクロフォンを使用する音声起動ソフトウェアのうちの一つ以上を含む。

次に再び図１を参照すると、１０２で統計的クラシファイアが提供され、かつ／または訓練される。

複数のクラシファイアが訓練されてよい。各クラシファイアは、特定の解剖学的撮像装置によって出力された特定のセットの解剖学的画像を処理するように訓練されてよい。例えば、特定のクラシファイアは、一つの解剖学的画像がＡＰ方向の患者を示し、かつ別の画像が側面方向の患者を示している、胸部Ｘ線写真を解析するように訓練される。別の例では、別のクラシファイアは、一つの解剖学的画像が横臥した患者を示し、かつ別の画像が直立した患者（例えば座位、起立位）を示している、腹部Ｘ線写真を解析するように訓練される。別の例では、別のクラシファイアは、三つ以上の明確に異なる向きの肩のＸ線写真を解析するように訓練される。別の例では、別のクラシファイアは、一つの解剖学的画像が乳房のＭＬＯ像を示し、別の画像が同じ乳房のＣＣ像を示している、乳房のマンモグラフィ画像を解析するように訓練される。乳房の他の像が実装されてもよいことが注目される。

クラシファイアは複数の利用可能なクラシファイアから選択されてよい。選択はユーザによって（例えばユーザインタフェースを介して、例えば利用可能なクラシファイアのメニュおよび／またはアイコンを表示して）手動で実行されてよい。選択は、例えば各画像および／または画像自体を解析するコードに関連付けられたメタデータの解析によって、画像における患者の向きおよび／または撮像モダリティを決定するコードによって、自動的に実行されてよい。

一つ以上のクラシファイアを訓練する例示的な方法について、図３に関連して説明する。

１０４で、標的個人の身体部分を示す二つ（またはそれ以上）の解剖学的画像が提供される。

二つ（またはそれ以上の）解剖学的画像の各々は、標的個人の少なくとも身体部分の独自の向き、例えば全身の向き（例えばＡＰ、ＰＡ、側方）、および／または四肢の向き（内転、外転、内旋、外旋）、および／または体位（例えば着座位、起立位）を示す。

例えば、第一解剖学的画像は、例えば胸部Ｘ線写真の場合、標的個人が解剖学的撮像装置に対して側方に向けられたときに取り込まれ、かつ第二解剖学的画像は、標的個人が解剖学的撮像装置に対して前後方向（ＡＰ）または後前方向（ＰＡ）に向けられたときに取り込まれる。別の例では、第一解剖学的画像は、例えば腹部Ｘ線写真の場合、標的個人が解剖学的撮像装置に対して仰臥位に向けられたときに取り込まれ、かつ第二解剖学的画像は、標的個人が解剖学的撮像装置に対して直立に向けられたときに取り込まれる。

画像は、例えばＰＡＣＳサーバ、ＥＭＲサーバ、解剖学的撮像装置、および／または記憶装置（例えばポータブル記憶媒体、ストレージサーバ）から取得されてよい。例えば解剖学的画像は、撮像モダリティによって取り込まれた後、かつ／またはいったん画像が格納された後、自動的に解析に送られる。

例示的な身体部分は、胸部、腹部、乳房、および四肢（例えば、肩部、臀部、手首、および肘など、四肢の関節および／または一部分）を含む。

例示的な解剖学的撮像装置は、二次元の解剖学的画像を取り込むＸ線装置を含む。

１０６で、（二つの解剖学的画像のうちの）特定の解剖学的画像は、統計的クラシファイアの特定の畳込みニューラルネットワーク（ＣＮＮ）に送り込まれる。特定のＣＮＮはそれぞれの特徴ベクトルを出力する。

特定のＣＮＮは、標的個人の定義された向きを示す解剖学的画像、例えば標的個人が側方に向けられた胸部Ｘ線写真だけを処理するように設計される。

１０８で、二つの解剖学的画像のうちのもう一つの解剖学的画像が統計的クラシファイアのもう一つのＣＮＮに送り込まれる。このもう一つのＣＮＮはそれぞれの特徴ベクトルを出力する。

このもう一つのＣＮＮは、標的個人の別の定義された向きを示す解剖学的画像、例えば標的個人がＡＰ方向に向けられた胸部Ｘ線写真だけを処理するように設計される。

二つのＣＮＮの事例は例示であって、必ずしも限定ではないことが注目される。各々が標的患者の独自の向きを示す三つ以上の解剖学的画像が利用可能である場合、例えば肩部のＸ線写真の場合、統計的クラシファイアは三つ以上のＣＮＮを含むように設計されてよい。

各ＣＮＮは、例えば、Ｈｕａｎｇ，Ｇ．、Ｌｉｕ，Ｚ．、ｖａｎ ｄｅｒ Ｍａａｔｅｎ，Ｌ．、Ｗｅｉｎｂｅｒｇｅｒ，Ｋ．Ｑ．：Ｄｅｎｓｅｌｙ ｃｏｎｎｅｃｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２０１７）に関連して記載された、各タイプの対応する解剖学的画像（すなわち異なる患者の向き、例えば胸部Ｘ線写真の場合、ＰＡ像および側面像）に従って別々に訓練される、ＤｅｎｓｅＮｅｔ １２１に基づいて実装されてよい。

１１０で、それぞれのＣＮＮによって出力された特徴ベクトルは結合され、任意選択的に連結され、統計的クラシファイアの全結合層に送り込まれる。特徴ベクトルは、平均プーリング層の直後に抽出されてよい。全結合層はカスタマイズされる。

１１２で、全結合層は、二つの解剖学的画像の一方または両方に存在する（訓練されたクラシファイアによって検出され得る一セットのあり得る視覚的所見からの）一つ以上の明確な視覚的所見の指標を計算した。全結合層は、各々のあり得る視覚的所見に対し、それぞれの視覚的所見が一方または両方の画像内で同定されるか否かを示す所見を出力し得る。代替的に、一方または両方の画像内で同定された視覚的所見だけが出力される。代替的に、それぞれの各視覚的所見に対し、それぞれの各視覚的所見が一方または両方の画像内に映し出されている確率を示す確率スコアが出力される。

全結合層の出力は、シグモイド活性化関数を受けてそれぞれの視覚的所見が画像の一つ以上に存在する確立を出力し得る。

あり得る視覚的所見のセットは、本明細書に記載するように、訓練データセットの標本個人の解剖学的画像に関連付けられる放射線科医レポートの文の解析に従って決定されてよい。

胸部Ｘ線写真の例示的な視覚的所見は、大動脈異常、大動脈石灰化、人工弁、無気肺、気管支壁肥厚、心臓ベースメーカ、心臓肥大、セントラルライン、硬化、向斜角鈍化、退行性変化、横隔膜上昇、骨折、肉芽腫、横隔膜ヘルニア、肺門隆起、過膨張、間質性マーキング、脊柱後弯、腫瘤、縦隔拡大、腸ガス過多、小結節、整形外科、骨減少症、胸水、胸膜肥厚、気胸、肺水腫、肋骨骨折、脊柱側弯症、軟組織石灰化、胸骨切開ワイヤ、目立つ止血鉗子、裂溝の肥厚、気管偏位、移植片、チューブ、および椎骨高さ喪失を含む。マンモグラフィの例示的な視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕を含む。

任意選択的に、統計的クラシファイアは、二つ（またはそれ以上）の解剖学的画像のうちの少なくとも一つにそれぞれの各視覚的所見が存在する確率を示す信頼度スコアを計算する。代替的に、クラシファイアは、視覚的所見の存在、および任意選択的に他の視覚的所見の不在を示す絶対値を出力する。

全結合層の出力は配列および／またはベクトルであってよく、配列の各要素は、訓練されたクラシファイアによって同定される可能性のある、あり得る視覚的所見の一つに対応する。例えば第一要素は大動脈異常に対応し、第二要素は大動脈石灰化に対応する、などと続く。各要素内の値は、それぞれの視覚的所見の存在または不在を示すバイナリ値（例えば０または１、真または偽）であってよい。各要素内の値は、それぞれの視覚的所見が存在する確率を示す信頼度スコアであってもよい。

任意選択的に、ヒートマップが視覚的所見の各々に対する信頼度スコアに従って計算される。ヒートマップは画像毎に計算されてよい。ヒートマップはＣＮＮの各々によって出力されるベクトルに従って計算されてよく、例えばヒートマップは、各解剖学的画像に対して計算された特徴マップ上に線形結合として生成される。特徴マップは、ネットワークの最後から三番目の層の出力から得られる（すなわち、最後から二番目の層で、各「特徴マップ」は、結果的に得られる特徴ベクトルの単一の数字に集約され、最後の層は各所見の出力確率を生成する全結合層である）。視覚的所見ｊのヒートマップを生成するときに特徴マップｉに割り当てられる重みは、Ｗ_ｉｊと表すことができ、ここでＷはネットワークの最後の全結合層の重みのマトリクスを表す。ヒートマップは画像の一方または両方のオーバレイとして提示されてよい。例えば色および／または強度レベルは、画像の画素に対し、対応する画素における視覚的所見の確率に従って計算されてよい。

任意選択的に、クラシファイアは、同じ種類の複数の視覚的所見に対し単一の指標を出力する、例えば二つ以上の肋骨骨折が解剖学的画像に映し出された場合、クラシファイアは「肋骨骨折」の指標を出力する。同じ種類の複数の視覚的所見は、解剖学的画像内の異なる場所に、例えば患者の左側、患者の右側、頭部方向、および／または脚部方向に位置することがある。

次に再び図１を参照すると、１１４で、明確な視覚的所見の計算された指標が提供される。

任意選択的に、視覚的所見の指標は、データ記憶装置に（例えばメタデータタグなどの医用画像に関連して）格納され、かつ／または
患者のＥＭＲおよび／またはＰＡＣＳサーバに格納される。

代替的に、または追加的に、視覚的所見の指標は、例えばネットワークを介してリモートサーバおよび／またはクライアント端末および／またはモバイル装置に転送される。

代替的に、または追加的に、視覚的所見の指標はディスプレイ上に提示され、例えば、画像が提示されている間に、任意選択的に、視覚的所見の指標のリストはスクリーン上にポップアップウィンドウとして提示される。

次に再び図３を参照すると、３０２で、解剖学的画像のセットは、複数の標本個人の各々に対して提供される。解剖学的画像の各セットは、それぞれの標本個人の少なくとも身体部分のそれぞれ独自の向きを示す、それぞれの標本個人の身体部分の二つ以上の画像を含む。一つ以上の文を含むテキストベースの放射線医学レポートは、解剖学的画像に関連付けられる。テキストベースの放射線医学レポートは、例えば放射線科医によってタイプされ、あるいは放射線科医によって口述筆記された、画像の放射線医学読影の記載を含む。

解剖学的画像のセットおよび関連する放射線医学レポートは、例えばＰＡＣＳサーバおよび／または標本個人のＥＭＲ記録から入手し得る。

３０４で、各標本個人の各セットの解剖学的画像に対し、それぞれのタグが作成される。各タグは画像の一方または両方に映し出された一つ以上の視覚的所見を含む。タグは、例えばメタデータタグ、電子ラベル、および／またはデータセットにおけるエントリ（例えば各要素が明確な視覚的所見を表す配列）へのポインタとして実装されてよい。

タグは、それぞれの各放射線医学レポートの個々の文を、それぞれの放射線医学レポートに関連する解剖学的画像に示された明確な視覚的所見の対応する指標にマッピングする解析に従って作成される。個々の文は明確な視覚的所見の一つにマッピングされる。

一セットの明確な視覚的所見は、画像の放射線医学レポートの文（任意選択的に全ての文）の解析に従って作成される。明確な視覚的所見の指標は、放射線科医によって同定された視覚的所見に基づいている。しかし、異なる放射線科医は、同一の視覚的所見に言及するために異なる文および／または異なる用語を使用することがあるので、複数の異なる文が同一の明確な視覚的所見にマッピングされてよい。

任意選択的に、標本個人の放射線医学レポートからの個々の文は、比較的少数の明確な視覚的所見、例えば約１０の視覚的所見、または約２０、または約２５、または約３０、または約４０、または約５０、または約１００の視覚的所見にクラスタ化される。放射線医学レポートの数は、明確な文の数、例えば約５０００００または約１００万の文と比較して小さい。各クラスタは明確な視覚的所見の一つを表す。それぞれのクラスタ内の全ての文は、それぞれ同一の明確な視覚的所見を示す。クラスタ化は、例えばユーザによって手動で、かつ／またはクラスタを作成するように設計された教師ありおよび／または教師なしの機械学習方法に基づいて、実行されてよい。

クラスタ化は次の一つ以上に従って実行されてよい。
クラスタ化は次のような多くの選択肢を有することができる。
１．より高い頻度の文の幾つかを手動で探索し、それらにタグ付けする（例えば実施例の節における実験で記載するように）。
２．アルゴリズムを使用してレポート内の文を自動的にパースし、それらを陽性所見（または陰性）に関連付ける。
３．（２）のアルゴリズムはルールに基づくことができる（例えば、各所見について、人間が式を書き、文がこの式を満たす場合、その文は所見の陽性指標にマッピングされる）。
４．（（１）の場合のように）手動で注釈を付けた文の標本を前提として、（２）のアルゴリズムは式を自動的に学習することができる（すなわちＭＬアルゴリズム）。

３０６で、一つ以上のクラシファイアを訓練するために一つ以上の訓練データセットが作成される。各訓練データセットは、解剖学的画像のセットおよび関連するタグを含む。

訓練データセットは、訓練される標的クラシファイアに従って、例えば撮像される身体部分に従って、画像モダリティに従って、かつ／または画像に現れる患者の身体部分の向きに従って分類されてよい。

任意選択的に、訓練データセットは、陽性所見（すなわち異常である可能性のある視覚的所見）を示す標本個人のテキストベースの放射線医学レポートの文のサブセット（任意選択的に各レポートからの一つ以上の文）を、視覚的所見の指標の一つにマッピングすることによって作成される。陰性の文は、（実施例の節における実験で記載するように）無視されるか、あるいは文中に示された視覚的所見に対する陰性ラベルにマッピングされるかのいずれかである。中立文は、示唆的情報を伝えないので、単に無視される。曖昧な文は、関連する画像のセットを訓練セットから除去することにつながり得る。

別の例では、陰性所見（例えば正常所見、または異常所見無し）および／または中立データ（すなわち陽性または陰性所見を示さない）、および／または不明瞭なデータ（例えばデータが陽性または陰性所見を示しているかどうか不明瞭である）を示す別のサブセットの文は、視覚的所見が無いことを示す別のタグにマッピングされる。他のサブセットの文は視覚的所見の指標のいずれにもマッピングされない。クラシファイアは両方のサブセットの文および関連する解剖学的画像について訓練されてよく、一方のサブセットは視覚的所見を同定するようにクラシファイアを訓練し、他方のサブセットは、陰性所見を誤って視覚的所見と指定することによる擬陽性を回避するように、クラシファイアを訓練する。

中立所見を示す文は無視されてよい。

任意選択的に、完全にカバーされた訓練データセットは、標本個人のテキストベースの放射線医学レポートのサブセットに従って作成される（すなわち、幾つかのレポートは訓練データセットから除外される）。サブセットに含まれるそれぞれの各テキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の各々は、視覚的所見の指標の（すなわち、モデルによって支持される所見から陽性所見を表す）、陰性所見、および中立データのうちの一つにマッピングされる。クラシファイアは、完全にカバーされた訓練データセットおよび関連する解剖学的画像に従って訓練されてよい。

代替的に、任意のヒット訓練データセットが、標本個人のテキストベースの放射線医学レポートのサブセットに従って作成される（すなわち、幾つかのレポートは訓練データセットから除外される）。サブセットに含まれるそれぞれの各テキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の少なくとも一つは、視覚的所見の指標の一つにマッピングされる。陰性所見および／または中立データにマッピングされた文は無視される。クラシファイアは、任意のヒット訓練データセットおよび関連する解剖学的画像に従って訓練されてよい。

３０８で、一つ以上の統計的クラシファイアは作成された訓練データセットに従って訓練される。

クラシファイアは、標的個人の身体部分の一方または両方の解剖学的画像であり得る視覚的所見から一つ以上の視覚的所見を同定するために訓練される。

任意選択的に、クラシファイアは、入力された第一解剖学的画像に従って第一特徴ベクトルを計算する第一ＣＮＮ、二つの解剖学的画像のうちの入力された第二解剖学的画像に従って第二特徴ベクトルを出力するように設計された第二ＣＮＮ、および第一特徴ベクトルおよび第二特徴ベクトルの連結に従って一つ以上の視覚的所見の指標を出力する全結合層を含む。

任意選択的に、統計的クラシファイアは、バイナリ交差エントロピ損失に基づく主損失関数、例えば
に従って訓練される。
式中：
Ｐ_ｋはｋ番目の出力ユニットの値を表し、
ｙ_ｋはｋ番目の所見に対するバイナリラベルを表す。

３１０で、訓練された統計的クラシファイアが提供される。訓練された統計的クラシファイアは、コンピューティング装置によって局所的に格納され、かつ／または訓練が別の装置によって実行されるときにコンピューティング装置に転送されてよい。

次に図４を参照すると、それは、本発明の一部の実施形態に係る、解剖学的画像における視覚的所見の指標を計算するためのアーキテクチャの略図である。正面像の胸部Ｘ線写真４０２はＣＮＮ４０４に入力され、ＣＮＮ４０４は、任意選択的に１０２４の特徴を含みかつ／または１０２４のサイズを持つそれぞれの特徴ベクトルを出力する（例えば図１の動作１０６に関連して記載するように）。側面像の胸部Ｘ線写真４０６は別のＣＮＮ４０８に入力され、ＣＮＮ４０８は、任意選択的に１０２４の特徴を含みかつ／または１０２４のサイズを持つそれぞれの特徴ベクトルを出力する（例えば図１の動作１０８に関連して記載するように）。ＣＮＮ４０４およびＣＮＮ４０８によって出力される特徴ベクトルは、連結データ構造４１０に連結される（例えば図１の動作１１０に関連して記載するように）。連結データ構造４１０は全結合層４１２に入力され、結合層４１２は、一方または両方の画像４０２および４０６に示された視覚的に明確な所見の一つ以上、例えば４０のあり得る視覚的所見のうちの一つ以上の指標を計算する（例えば図１の動作１１２に関連して記載するように）。代替的に、または追加的に、全結合層４１２は、画像４０２および４０６の一方または両方に示されている可能性を示す、４０のあり得る視覚的所見の各々の確率スコアを計算する。

次に図５を参照すると、それは、本発明の一部の実施形態に係る、訓練タグ（本明細書ではラベルともいう）を生成するためのテキストベースの放射線医学レポート５０２の文の解析例を示す略図である。放射線医学レポート５０２は、Ｘ線画像における所見について記述した、放射線科医のそれぞれの表現方法に基づく複数の動詞文を含む。文５０４および５０６は陰性所見、視覚的所見が無いことを表す。陰性所見は正常所見を表すこともある。陰性所見の文には陰性ラベルが割り当てられる。文５０８はＸ線画像における視覚的所見を表す。視覚的所見を表す文は、あり得る視覚的所見の一つにマッピングされる。文５１０は、陽性の視覚的所見または陰性の／正常な視覚的所見を示さない中立所見を表す。中立所見を表す文は無視されてよい。

次の図６を参照すると、それは、例えば本明細書に記載するように、本発明の一部の実施形態に係る、解剖学的画像に示された一セットのあり得る視覚的所見６０２の例である。あり得る視覚的所見６０２は、標本個人のレポートの文のクラスタ化に基づいて同定されてよい。任意選択的に、配列６０４はクラシファイアによって（すなわち全結合層によって）出力され、０の値を含む各要素は、対応する視覚的所見（すなわち列６０２の対応する行）がこのセットの解剖学的画像では同定されないことを示す。１の値は、対応する視覚的所見（すなわち列６０２の対応する行）がこのセットの解剖学的画像に示されていると同定されることを示す。示された例では、椎骨高さ喪失、肺門、および肉芽腫がこのセットの解剖学的画像に対する視覚的所見として同定される。

本明細書中上記に描かれるような、および、下記の請求項の節において特許請求されるような本発明の様々な実施形態および態様のそれぞれは、実験的裏付けが下記の実施例において見出される。

次に、統計的クラシファイアの訓練、および訓練された統計的クラシファイアによる解剖学的画像の分析についての下記の実施例が参照されるが、下記の実施例は、上記の説明と一緒に、本明細書に記載するシステム、方法、装置および／またはコード命令を非限定様式で例示する。

発明者らは、図１、２、および３に関連して述べた特徴および／またはシステム構成要素に基づいて、本明細書に記載するシステムおよび／または方法および／または装置および／またはコード命令に従って計算評価を実行した。

訓練データセットを作成するために、ＨＩＰ ＡＡ基準に従って取得の前に全ての患者健康情報（ＰＨＩ）がデータから除去された。２１０万の胸部Ｘ線写真（ＣＸＲ）とそれぞれのテキストベースの放射線医学診断レポート付きのデータセットが使用された。年齢１８以上の個人の全ての後前（ＰＡ）方向のＣＸＲ画像が生成された。対応する側面像はＣＸＲ検査の８５％に存在し、訓練データに含まれた。

全てのＣＸＲレポートを一セットの明確な規範的ラベルに集約する標準化プロセスを採用した。文境界検出アルゴリズムをＣＸＲに対応する２１００万のレポートに適用し、８２万７千のユニークな文が生み出された。三名の熟練放射線科医および二名の医学生が、最も多く発生する文をＣＸＲ画像に対するそれらの適切さに関して分類した。発明者らは、文を次の三つのカテゴリにクラスタ化し得ることを発見した。（１）例えば「心臓が肥大している」、または「正常な心臓の陰影」など、所見の有無を報告し、したがってラベルを生成するために使用される文。（２）例えば「８４歳の男性、咳あり」、「肺小結節経過観察」、または「ＣＴ胸部と比較した」など、画像自体から導出されず、あるいは本質的に関係しない中立文。（３）例えば「昨日より胸部の外観に変化なし」など、画像に対するテキストの関係が曖昧であるため、検査を信頼できなくし得る文。

幾つかの手作りした正規表現を使用して中立文および陰性文を取り除いた後、わずか２万の最も広く用いられる陽性文だけを用いて、８２万６千のレポートを完全にカバーすることが可能であった。同じ熟練放射線科医がこれらの文の各々を精査し、全ての陽性文ボリュームの９９．９９％をカバーする６０の所見の初期オントロジにそれらをマッピングした。

クラシファイアを訓練するため最終オントロジを形成するために、臨床的解釈または診断ではなく、視覚的所見を選択した。幾つかのカテゴリは統合された。すなわち、骨粗しょう症は骨減少症に統合され、ねじれた非コイル状大動脈は異常大動脈に統合され、気管支マーキングは間質性マーキングに統合された。これらの所見を画像のみに基づいて弁別することは、往々にして不可能であるためである。視覚的に異なるが、全てのチューブおよび静脈ラインは二つのそれぞれのカテゴリに統一される。

次に図７を参照すると、それは、本発明の一部の実施形態に係る、訓練画像に関連する放射線医学レポートから同定された上位４０の視覚的所見の表を含む。合計９５万９千件の検査のうち５９万６千件（６２％）が所見を報告していなかったことが注目される。

文のラベリングの完了後に、適切な訓練セットを設計した。慎重な手法では、レポート文が完全にカバーされた検査だけが含まれることが注目される（完全にカバーされたセットは、本明細書に記載するように作成される）ことが注目される。すなわち、各検査における潜在的陽性文を全て手動で精査し、所見にマッピングした。より寛容な、任意のヒット手法では、そのレポート内に認識された陽性文がある全ての検査が含まれ、他の認識されない文は無視されるので、それらの中に異常を示すものがあっても、間違って陰性とラベル付けされるリスクがある。

完全にカバーされた手法は、５９万６千件の正常検査（すなわち陽性所見が無い）、および２３万件の異常検査（すなわち少なくとも一つの陽性所見）をもたらした。任意のヒット手法はノイズが多いが、合計３６万３千件の検査に対し、５８％多い異常検査を追加した。最終訓練セットには、完全にカバーされた手法では８２万６千件の検査、任意のヒット手法では９５万９千件の検査が含まれた。

発明者らは、完全にカバーされた手法および任意のヒット手法の両方を評価比較するために計算評価を実施した。より大きい任意のヒット訓練セットがベースラインとして設定された。訓練セットは、（匿名の）患者の身元に基づいて、訓練、検証、および試験に分割された（それぞれ８０％／１０％／１０％）。検証と指定された検査の１０％から、サイズ９９４の検証セットは各所見からの少なくとも２５の陽性とコンパイルされた。検証損失が最も低いクラシファイアが選択された。

実験用に設計されたクラシファイアはサイズが２９９×２９９の二つの入力を受信した。側面像が入手できない場合、クラシファイアには代わりにランダムノイズが供給された。各Ｘ線画像（ｒａｗフォーマットで、最大３０００×３０００画素）は零点平均正規化され、３３０（１＋ａ）×３３０（１＋ｂ）のサイズにスケール変更され、ｃ度回転された。２９９×２９９のランダムパッチが入力として受け取られた。訓練増強のために、ａ、ｂは＋／−０．０９から、かつｃは＋／−９から均等に標本抽出され、各画像は無作為に水平方向にフリップされた。バランスのため、ＰＡ像は標本の５％でランダムノイズに置換された。試験のため、ａ＝ｂ＝ｃ＝０、およびセントラルパッチが入力として、フリップせずに使用された。

クラシファイアは二つの１０８０Ｔｉ ＧＰＵで訓練され、クラシファイアの各ＣＮＮは異なるＧＰＵで訓練された。Ｔｅｎｓｏｒｏｗ１．４上のＤｅｎｓｅＮｅｔ１２１の内蔵Ｋｅｒａｓ２．１．３の実装が使用された。ＡｄａｍオプチマイザとＫｅｒａｓデフォルトパラメータが使用され、バッチサイズは３２であった。検査は正常および異常の二つの待ち行列に分類された。各バッチは平均して９５％の異常検査で満たされた。一エポックは１５０バッチと定義された。開始時の学習率は０．００１であり、検証損失が３０エポック間改善されなかった場合、学習率は０．７５倍にされた。クラシファイアは２０００エポックにわたって訓練された。

４０の視覚的所見カテゴリのうちの１２カテゴリが選択された。試験区分からの検査を使用して、選択された１２の視覚的所見に従って、評価セットが作成された。大部分のセットは、心臓肥大、肺門隆起、および肺水腫を除いて、単一の所見に集中した。これらの視覚的所見については、一般的に鬱血性心不全の状況でみられるので、ひとまとめに扱われた。各セットで、検査は二つのプールから導出された。ｐｏｓ‐ｐｏｏｌと呼ばれる第一プールは、それぞれの視覚的所見について放射線医学レポートに陽性の指摘が含まれる検査を含んだ。ｐｏｓ‐ｐｏｏｌに含まれた検査は、文のタグ付け操作とは関係なく、各所見を示す用語を手動でテキスト検索することによって得られた。ｎｅｇ‐ｐｏｏｌと呼ばれる第二プールは、無作為に標本抽出された検査で、どの所見についても大部分が陰性であったものを含んだ。

次に図８を参照すると、それは、本発明の一部の実施形態に係る、評価セットの構成をまとめた表を含む。Ｔｅｘｔｒａｙは本明細書に記載する訓練されたクラシファイアを表す。ｐｏｓ‐ｐｏｏｌ（すなわち放射線医学レポートにおける所見が陽性である）およびｎｅｇ‐ｐｏｏｌ（すなわち無作為標本）から得られた検査の数は、各セットに割り当てられた三名の放射線科医（ｒａｄｓと表記されている）と放射線医学レポートとの平均一致率（ＡＡＲ）と共に、表に提示されている。本明細書に記載するクラシファイアおよび放射線科医によって得られた結果間のＡＡＲ（すなわち、ｔｅｘｔｒａｙの列によって表される）は、いずれかの放射線科医と他の放射線科医との間のＡＡＲ（ａｖｇ ｒａｄと表記される）と比較される。差（Δと表記される）に対する信頼区間が計算される。

各セットは三名の熟練放射線科医によって評価された。各セットで、放射線科医はシャッフルされた検査を精査し、デスクトップで操作されるウェブベースのソフトウェアを使用して、関連視覚的所見の有無を示した。放射線科医にはＰＡ像および側面像の両方がそれらの元の解像度で示された。

放射線医学レポートは第四の熟練者の意見として考慮された。ラベル抽出プロセスの精度を測定するために、レポートの意見は訓練セットのラベルと相互参照された。訓練セットの陽性ラベルはレポートにおいて正確に示されていた。レポートに示された陽性所見は、任意のヒット訓練セットで予測されるように、頻繁に誤って陰性とラベル付けされていたが、これは完全にカバーされたセットでも、より低い程度ではあったが、観察された。

次に図９を参照すると、それは、本発明の一部の実施形態に係る、評価セットの１２の視覚的所見を含む陽性検査の百分率およびラベルの割当てが正しかった陽性検査の百分率をまとめた表である。表は、本明細書に記載する二つの訓練におけるラベルノイズの推定を提示する。

完全にカバーされた訓練セットは、それぞれの放射線医学レポートの全ての潜在的陽性文がパースされ、かつそれぞれの所見にマッピングされる場合に、検査を含む。任意のヒット訓練セットは、少なくとも一つの文がパースされ、かつ所見にマッピングされる場合に、たとえ陽性文の残りがパースされず、それらの所見が不明である場合でも、検査を含む。任意のヒット訓練セットは、全ての所見に対してより多くの陽性検査を含む（左側の二列）が、これらの陽性所見のより多くの部分は誤って陰性としてラベル付けされている（右側の二列）。

発明者らがＦｌスコアの代わりに二人のタガー間の一致率（例えば精度）を使用したことを除いては、放射線科医の一致のペアワイズ解析は、Ｒａｊｐｕｒｋａｒ，Ｐ．、Ｉｒｖｉｎ，Ｊ．、Ｚｈｕ，Ｋ．、Ｙａｎｇ，Ｂ．、Ｍｅｈｔａ，Ｈ、Ｄｕａｎ，Ｔ、Ｄｉｎｇ，Ｄ．、Ｂａｇｕｌ，Ａ．、Ｌａｎｇｌｏｔｚ，Ｃ．、Ｓｈｐａｎｓｋａｙａ，Ｋ．、Ｌｕｎｇｒｅｎ，Ｍ．Ｐ．、Ｎｇ，Ａ．Ｙ．：ＣｈｅＸＮｅｔ： Ｒａｄｉｏｌｏｇｉｓｔ−Ｌｅｖｅｌ Ｐｎｅｕｍｏｎｉａ Ｄｅｔｅｃｔｉｏｎ ｏｎ Ｃｈｅｓｔ Ｘ−Ｒａｙｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（１１ ２０１７）に関連して記載された手順に従って実行された。この調整は、（ａ）一致率は陰性についての一致をも測定するため、かつ（ｂ）一致率は解釈がより容易であるため、発明者によって行われた。（一モデルについて）一放射線科医の平均一致率ＡＡＲとは、他の二名（あるモデルでは三名）の放射線科医に対して達成された一致率の平均である。平均放射線科医一致率は三名の放射線科医のＡＡＲの平均である。ブートストラップ法（ｎ＝１００００）を使用して、本明細書に記載したクラシファイアと平均放射線科医一致率との間の差に対し、９５％の信頼区間を得た。各所見に対するクラシファイアの閾値として、検証セットでＡＡＲを最大化したものを使用した。

次に再び図８を参照すると、表は、本明細書に記載するクラシファイア（ｔｅｘｔｒａｙと呼ばれる）が人間の放射線科医と、１２件の所見のうち肋骨骨折および肺門隆起を除く１０件で同レベル（９５％の信頼区間内）であることを示している。一部の所見（横隔膜上昇、大動脈異常、および肺水腫）については、放射線科医らは相互の間より、本書に記載するクラシファイアの出力との一致率の方がかなり高いことが注目される。図８の表はまた、放射線科医とレポートとの平均一致率をも示す。この場合にも、一致率は往々にして放射線科医自身の間の平均一致率より高い。これらの結果は、レポートをラベルとして使用することにより加わるノイズが、タグ付けを行うように放射線科医を訓練することにより加わるノイズより大きくはないことの証拠を提供する。

テキストベースのラベルをグラウンドトゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）として使用して、本明細書に記載する訓練されたクラシファイアの性能を４０の視覚的所見カテゴリ全部について試験した。試験セットを作成するために、５０００件の検査の無作為標本を試験区分から選択した。各所見が少なくとも１００件の陽性症例を含むまで、試験区分からさらに検査を追加し、合計して７０３０件の検査が選択された。

次に図１０を参照すると、それは、本発明の一部の実施形態に係る、実験で述べた胸部Ｘ線所見のうちの４０の視覚的所見の各々に対する、訓練されたクラシファイアの複数のＲＯＣプロットを含む。各ＲＯＣプロットの表題は、７０３０件の検査のテキストセットにおける陽性の数を示す。感度＝特異度である場合のＡＵＣおよび精度が各プロットに示される。４０の視覚的所見に対するＡＵＣは０．７から１．０の範囲である（平均０．８９２）。図表の頂部では人工物（すなわちペースメーカ、ライン、チューブ、ワイヤ、および移植片）のＡＵＣが１．０に接近していることが検出されており、全ての疾患よりずっと良い結果であることが注目される。

次に図１１を参照すると、それは、本発明の一部の実施形態に係る、各検査のＰＡ像だけを用いて訓練された変形例（すなわちＲａｊｐｕｒｋａｒ，Ｐ．、Ｉｒｖｉｎ，Ｊ．、Ｚｈｕ，Ｋ．、Ｙａｎｇ，Ｂ．、Ｍｅｈｔａ，Ｈ．、Ｄｕａｎ，Ｔ．、Ｄｉｎｇ，Ｄ．、Ｂａｇｕｌ，Ａ．、Ｌａｎｇｌｏｔｚ，Ｃ．、Ｓｈｐａｎｓｋａｙａ，Ｋ．、Ｌｕｎｇｒｅｎ，Ｍ．Ｐ．、Ｎｇ，Ａ．Ｙ．：ＣｈｅＸＮｅｔ：Ｒａｄｉｏｌｏｇｉｓｔ−Ｌｅｖｅｌ Ｐｎｅｕｍｏｎｉａ Ｄｅｔｅｃｔｉｏｎ ｏｎ Ｃｈｅｓｔ Ｘ−Ｒａｙｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ．（１１ ２０１７）およびＷａｎｇ，Ｘ．、Ｐｅｎｇ，Ｙ．、Ｌｕ，Ｌ．、Ｚ．Ｌ．．ｏ．Ｃ．Ｖ．，２０１７、ｕ．：Ｃｈｅｓｔｘ−ｒａｙ８：Ｈｏｓｐｉｔａｌ−ｓｃａｌｅ ｃｈｅｓｔ ｘ−ｒａｙ ｄａｔａｂａｓｅ ａｎｄ ｂｅｎｃｈｍａｒｋｓ ｏｎ ｗｅａｋｌｙ−ｓｕｐｅｒｖｉｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｃｏｍｍｏｎ ｔｈｏｒａｘ ｄｉｓｅａｓｅｓ．ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍに関連して記載された手法）と比較して、訓練されたクラシファイアによって達成されたＲＯＣ曲線下面積（ＡＵＣ）のグラフである。グラフに示される標識された点の数字は、図７に関連して記載した表に提示されたあり得る視覚的所見の番号に対応する。椎骨高さ喪失、硬化、肋骨骨折、および脊柱後弯の場合、ＰＡ像に加えて、本明細書に記載する訓練されたクラシファイアによって処理された側面像は、ＰＡ像単独の場合と比較して、結果的に検出率が向上したことが注目される。グラフによって示される結果は、各々が患者の独自の向きを示す二つ以上の解剖学的画像に従ってここで訓練されたクラシファイアが、一つの患者の向きを示す単一の解剖学的画像に基づく方法と比較して、検出精度の向上を達成することを示している。

次に図１２を参照すると、それは、実験に関連して記載するように、二つの解剖学的画像を用いて訓練された（すなわちベースと表記され、ＰＡ像および側面像を用いて訓練された）本明細書に記載するクラシファイアと比較するために、一つの解剖学的画像（すなわちＰＡ像）だけを使用して訓練された本明細書に記載するクラシファイアの変形例の結果を提示する表である。標識ＦＣは、完全にカバーされた訓練セットで訓練されたクラシファイアの変形例を表す。ＡＵＣで測定した変形例の性能は、４０の視覚的所見の各々について示される。しかし、変形例はほとんど全ての視覚的所見でかなり低い結果をもたらし、より高いラベルノイズの相殺を超える、任意のヒットセットにおける追加の異常検査を示唆している。

次に図１３を参照すると、それは、本発明の一部の実施形態に係る、結果に従って計算されたヒートマップの画像を含む。図１３に提示するヒートマップは、Ｗａｎｇ，Ｘ．、Ｐｅｎｇ，Ｙ．、Ｌｕ，Ｌ．、Ｚ．Ｌ．．ｏ．Ｃ．Ｖ．、２０１７、ｕ．：Ｃｈｅｓｔｘ‐ｒａｙ８：Ｈｏｓｐｉｔａｌ−ｓｃａｌｅ ｃｈｅｓｔ ｘ−ｒａｙ ｄａｔａｂａｓｅ ａｎｄ ｂｅｎｃｈｍａｒｋｓ ｏｎ ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｃｏｍｍｏｎ ｔｈｏｒａｘ ｄｉｓｅａｓｅｓ．ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍに関連して記載された手順に基づいて計算された。ヒートマップは、実験に関連して記載した陽性所見のうちの１２件に対して提示される。ヒートマップは、選択された側面画像およびＰＡ画像上に提示される。一つのヒートマップ１３０２がマークされており、ヒートマップ１３０２はＰＡ像胸部Ｘ線写真１３０４上の心臓ベースメーカを表している。

次に図１４を参照すると、それは、本発明の一部の実施形態に係る、実験に使用された放射線医学レポートのセットにおいて、最も頻繁に現れる陽性文および対応する発生回数を提示する表である。

次に図１５を参照すると、それは、本発明の一部の実施形態に係る、特定の視覚的所見にマッピングされた文によって完全にカバーされた実験に使用された放射線医学レポートの数を、マッピングされた文の数の関数として示すグラフである。グラフは、最も一般的な文がマップされるという前提に基づいて生成される。

次に図１６を参照すると、それは、実験に関連して記載するように、様々な視覚的所見について、割り当てられた手動放射線医学タガー（Ａ〜Ｇと表記）の一致率を提示する表である。タガーＡ〜Ｇはそれぞれ４０年、６年、５年、５年、２年、２年、および２年の経験を有する担当放射線科医である。数字は、各放射線科医対セットにおける他の二名の放射線科医の平均一致率（ＡＡＲ）を示す。

本発明の様々な実施形態の記載は、説明の目的のために与えられたものであり、開示された実施形態に限定したものであることや網羅したものであることを意図しない。多くの修正及び変形が、記載された実施形態の範囲及び精神から逸脱せずに当業者に明らかであるだろう。本明細書に使用される用語法は、実施形態の原理、市場で見出される技術に対する技術改良もしくは実際の適応を最良に説明するため、又は本明細書に開示された実施形態を他の当業者に理解させるために選択される。

本出願から成熟する特許の存続期間の期間中には、多くの関連する解剖学的画像が開発されることが予想され、解剖学的画像の用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

本明細書中で使用される用語「約」は、±１０％を示す。

用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。この用語は、「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」および「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」を包含する。

表現「から本質的になる」は、さらなる成分および／または工程が、特許請求される組成物または方法の基本的かつ新規な特徴を実質的に変化させない場合にだけ、組成物または方法がさらなる成分および／または工程を含み得ることを意味する。

本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「化合物（ａ ｃｏｍｐｏｕｎｄ）」または用語「少なくとも１つの化合物」は、その混合物を含めて、複数の化合物を包含し得る。

用語「例示的」は、本明細書では「例（ｅｘａｍｐｌｅ，ｉｎｓｔａｎｃｅ又はｉｌｌｕｓｔｒａｔｉｏｎ）として作用する」ことを意味するために使用される。「例示的」として記載されたいかなる実施形態も必ずしも他の実施形態に対して好ましいもしくは有利なものとして解釈されたりかつ／または他の実施形態からの特徴の組み入れを除外するものではない。

用語「任意選択的」は、本明細書では、「一部の実施形態に与えられるが、他の実施形態には与えられない」ことを意味するために使用される。本発明のいかなる特定の実施形態も対立しない限り複数の「任意選択的」な特徴を含むことができる。

本開示を通して、本発明の様々な態様が範囲形式で提示され得る。範囲形式での記載は単に便宜上および簡潔化のためであり、本発明の範囲に対する柔軟性のない限定として解釈すべきでないことを理解しなければならない。従って、範囲の記載は、具体的に開示された可能なすべての部分範囲、ならびに、その範囲に含まれる個々の数値を有すると見なさなければならない。例えば、１〜６などの範囲の記載は、具体的に開示された部分範囲（例えば、１〜３、１〜４、１〜５、２〜４、２〜６、３〜６など）、ならびに、その範囲に含まれる個々の数値（例えば、１、２、３、４、５および６）を有すると見なさなければならない。このことは、範囲の広さにかかわらず、適用される。

数値範囲が本明細書中で示される場合には常に、示された範囲に含まれる任意の言及された数字（分数または整数）を含むことが意味される。第１の示された数字および第２の示された数字「の範囲である／の間の範囲」という表現、および、第１の示された数字「から」第２の示された数「まで及ぶ／までの範囲」という表現は、交換可能に使用され、第１の示された数字と、第２の示された数字と、その間のすべての分数および整数とを含むことが意味される。

明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。

本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。

本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。
それに加えて、本願のいかなる優先権書類も、その全体を参照によってここに組み入れられる。

Claims (22)

1. 標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのコンピュータ実装方法であって、前記方法は、
   標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するステップと、
   二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク（ＣＮＮ）に入力して、第一特徴ベクトルを出力するステップと、
   二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二ＣＮＮに入力して、第二特徴ベクトルを出力するステップと、
   第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層内に入力するステップと、
   全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するステップと
   を含み、
   統計的クラシファイアは、複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成されることを特徴とする方法。
2. 二つの解剖学的画像は、解剖学的撮像センサからの患者の非平行な観察面を示すことを特徴とする請求項１に記載の方法。
3. 明確な視覚的所見の複数の指標の各々は、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文をクラスタ化することによって作成された複数のクラスタの一つに基づいていることを特徴とする請求項１に記載の方法。
4. 解剖学的撮像装置は、二次元解剖学的画像を取り込むＸ線装置を含むことを特徴とする請求項１に記載の方法。
5. 解剖学的撮像装置は、内外斜方向（ＭＬＯ）像および頭尾方向（ＣＣ）像を含め、乳房当たり二つの像の二次元解剖学的画像を取り込むマンモグラフィ装置を含むことを特徴とする請求項１に記載の方法。
6. 第一解剖学的画像は、標的個人が解剖学的撮像装置に対して側方に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して前後方向（ＡＰ）または後前方向（ＰＡ）方向に向けられたときに、取り込まれることを特徴とする請求項１に記載の方法。
7. 第一解剖学的画像は、標的個人が解剖学的撮像装置に対して仰臥位に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して立位に向けられたときに取り込まれることを特徴とする請求項１に記載の方法。
8. 標的個人の身体部分は、標的個人の胸部、腹部、および四肢のうちの少なくとも一つを含むことを特徴とする請求項１に記載の方法。
9. クラシファイアは、全結合層によって二つの解剖学的画像のうちの少なくとも一つにおける少なくとも二つの視覚的所見の指標を計算することを特徴とする請求項１に記載の方法。
10. 複数の視覚的所見は、大動脈異常、大動脈石灰化、人工弁、無気肺、気管支壁肥厚、心臓ベースメーカ、心臓肥大、セントラルライン、硬化、向斜角鈍化、退行性変化、横隔膜上昇、骨折、肉芽腫、横隔膜ヘルニア、肺門隆起、過膨張、間質性マーキング、脊柱後弯、腫瘤、縦隔拡大、腸ガス過多、小結節、整形外科、骨減少症、胸水、胸膜肥厚、気胸、肺水腫、肋骨骨折、脊柱側弯症、軟組織石灰化、胸骨切開ワイヤ、目立つ止血鉗子、裂溝の肥厚化、気管偏位、移植片、チューブ、および椎骨高さ喪失から成る群から選択された少なくとも二つの構成要素を含むことを特徴とする請求項１に記載の方法。
11. 複数の視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕から成る群から選択された少なくとも二つの構成要素を含むことを特徴とする請求項１に記載の方法。
12. 統計的クラシファイアによって、二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の各々の存在の確率を示す信頼度スコアを計算することをさらに含むことを特徴とする請求項１に記載の方法。
13. 複数の視覚的所見の各々について信頼度スコアに従ってヒートマップを計算すること、および二つの解剖学的画像のうちの少なくとも一つのオーバレイ層としてヒートマップを提示することをさらに含むことを特徴とする請求項１に記載の方法。
14. 標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するための統計的クラシファイアを訓練する方法であって、前記方法は、
    複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するステップと、
    複数の標本個人の各々について、複数の文のうちの少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを形成するステップと、
    複数の標本個人の各々に対し、それぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の同定のために統計的クラシファイアを訓練するステップと
    を含むことを特徴とする方法。
15. 方法はさらに、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文を複数のクラスタにクラスタ化することを含み、明確な視覚的所見の複数の指標の各々は、複数のクラスタのうちの一つに基づいていることを特徴とする請求項１４に記載の方法。
16. 統計的クラシファイアは、二つの解剖学的画像のうちの入力された第一解剖学的画像に従って第一特徴ベクトルを計算する第一ＣＮＮと、二つの解剖学的画像のうちの入力された第二解剖学的画像に従って第二特徴ベクトルを出力するように設計された第二ＣＮＮと、第一特徴ベクトルおよび第二特徴ベクトルの連結に従って複数の視覚的所見のうちの少なくとも一つの所見の指標を出力する全結合層とを含むことを特徴とする請求項１４に記載の方法。
17. 複数の標本個人の各個人の各テキストベースの放射線医学レポートについて、陽性所見を示すそれぞれのテキストベースの放射線医学レポートの複数の文のサブセットは、視覚的所見の複数の指標の一つにマッピングされ、陰性所見、中立データ、および不明瞭なデータのうちの少なくとも一つを示す複数の文の別のサブセットは、視覚的所見を示しておらず、視覚的所見の複数の指標の一つにマッピングされないことを特徴とする請求項１４に記載の方法。
18. 方法はさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、完全にカバーされた訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の各々は、視覚的所見の複数の指標の一つ、陰性所見、および中立データのうちの一つにマッピングされ、クラシファイアは、完全にカバーされた訓練データセットに従って訓練されることを特徴とする請求項１４に記載の方法。
19. 方法はさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、任意のヒット訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の少なくとも一つは、視覚的所見の複数の指標の一つにマッピングされ、クラシファイアは、任意のヒット訓練データセットに従って訓練されることを特徴とする請求項１４に記載の方法。
20. 統計的クラシファイアは、バイナリ交差エントロピ損失の平均に基づく主損失関数に従って訓練されることを特徴とする請求項１４に記載の方法。
21. 標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのシステムであって、前記システムは、
    少なくとも一つのハードウェアプロセッサによって実行されるコードが格納された非一時的メモリを含み、前記コードは、
    標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するためのコードと、
    二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク（ＣＮＮ）に入力して、第一特徴ベクトルを出力するためのコードと、
    二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二ＣＮＮに入力して、第二特徴ベクトルを出力するためのコードと、
    第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層に入力するためのコードと、
    全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するためのコードと
    を含み、
    前記統計的クラシファイアは、複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成されることを特徴とするシステム。
22. システムはさらに、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードを含み、前記コードは、
    複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するためのコードと、
    複数の標本個人の各々に対し、複数の文の少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを作成するためのコードと、
    複数の標本個人の各々についてそれぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードと
    を含むことを特徴とする請求項２１に記載のシステム。