JP2020510463A - 全層畳み込みネットワークを利用する自動化されたセグメンテーション - Google Patents
全層畳み込みネットワークを利用する自動化されたセグメンテーション Download PDFInfo
- Publication number
- JP2020510463A JP2020510463A JP2019540646A JP2019540646A JP2020510463A JP 2020510463 A JP2020510463 A JP 2020510463A JP 2019540646 A JP2019540646 A JP 2019540646A JP 2019540646 A JP2019540646 A JP 2019540646A JP 2020510463 A JP2020510463 A JP 2020510463A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- image
- contour
- cnn model
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title abstract description 92
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 193
- 238000000034 method Methods 0.000 claims abstract description 127
- 210000004369 blood Anatomy 0.000 claims abstract description 85
- 239000008280 blood Substances 0.000 claims abstract description 85
- 210000003205 muscle Anatomy 0.000 claims abstract description 67
- 210000003484 anatomy Anatomy 0.000 claims abstract description 62
- 210000004165 myocardium Anatomy 0.000 claims abstract description 62
- 210000001174 endocardium Anatomy 0.000 claims abstract description 41
- 230000008602 contraction Effects 0.000 claims abstract description 19
- 230000010339 dilation Effects 0.000 claims abstract description 13
- 230000007170 pathology Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 161
- 230000002861 ventricular Effects 0.000 claims description 104
- 210000005240 left ventricle Anatomy 0.000 claims description 94
- 230000000747 cardiac effect Effects 0.000 claims description 60
- 238000010801 machine learning Methods 0.000 claims description 55
- 210000005241 right ventricle Anatomy 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 46
- 230000002107 myocardial effect Effects 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 43
- 238000003780 insertion Methods 0.000 claims description 31
- 230000037431 insertion Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 22
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 18
- 230000010412 perfusion Effects 0.000 claims description 14
- 238000012805 post-processing Methods 0.000 claims description 14
- 208000019622 heart disease Diseases 0.000 claims description 10
- 238000002059 diagnostic imaging Methods 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 claims description 4
- 201000000057 Coronary Stenosis Diseases 0.000 claims description 3
- 208000010125 myocardial infarction Diseases 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 231100000241 scar Toxicity 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 claims 1
- 230000037361 pathway Effects 0.000 abstract 3
- 239000010410 layer Substances 0.000 description 129
- 210000003540 papillary muscle Anatomy 0.000 description 47
- 238000004422 calculation algorithm Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 43
- 238000003384 imaging method Methods 0.000 description 28
- 241000270295 Serpentes Species 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 20
- 210000004115 mitral valve Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 238000013459 approach Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 210000000591 tricuspid valve Anatomy 0.000 description 11
- 238000010200 validation analysis Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 238000001994 activation Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 8
- 210000005246 left atrium Anatomy 0.000 description 7
- 210000001765 aortic valve Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000014759 maintenance of location Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 210000002837 heart atrium Anatomy 0.000 description 5
- 230000004217 heart function Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 229910052688 Gadolinium Inorganic materials 0.000 description 4
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 210000000709 aorta Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 3
- 210000003102 pulmonary valve Anatomy 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 210000005245 right atrium Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010019280 Heart failures Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 238000000585 Mann–Whitney U test Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003205 diastolic effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229920006343 melt-processible rubber Polymers 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Abstract
解剖学的構造（たとえば、心臓）の自動化されたセグメンテーションのためのシステムおよび方法。畳み込みニューラルネットワーク（ＣＮＮ）は、３Ｄ ＭＲＩデータなどの画像データによって表される解剖学的構造の部分を自律的にセグメンテーションするために用いられることができる。ＣＮＮは、２つの経路、すなわち、収縮用経路および膨張用経路を利用する。少なくともいくつかの実装形態では、膨張用経路は、収縮用経路よりも少ない畳み込み演算を含む。システムおよび方法はまた、心内膜の輪郭の内部で血液を乳頭筋および肉柱筋から区別する画像強度閾値を自律的に計算し、乳頭筋および肉柱筋の境界線を説明する輪郭またはマスクを定義するために画像強度閾値を自律的に適用する。システムおよび方法はまた、訓練されたＣＮＮモデルを使用して心内膜および心外膜を描写する輪郭またはマスクを計算し、この計算された輪郭またはマスクを使用して、心筋の筋肉の病状または機能的特性を解剖学的に局所化する。
Description
本開示は、一般に、解剖学的構造の自動化されたセグメンテーションに関する。
ＭＲＩ（核磁気共鳴画像法）は、多くの場合、心臓画像法において、既知のまたは疑われる心臓病状をもつ患者を評価するために使用される。特に、心臓ＭＲＩは、それが心臓の高解像度シネ画像を正確にキャプチャする能力を通して、心不全および類似の病状に関連するメトリックを定量化するために使用されることができる。これらの高解像度画像は、手動で、または半自動化されたソフトウェアもしくは全自動化されたソフトウェアの助けを借りて、のどちらかで、関連のある心臓の解剖学的領域（心室および筋肉など）のボリュームが測定されることを可能にする。
心臓ＭＲＩシネシーケンスは、１つまたは複数の空間的スライスからなり、空間的スライスの各々は、全心臓周期全体を通して複数のタイムポイント（たとえば、２０のタイムポイント）を含む。一般的には、以下のビューの何らかのサブセットは、別個の系列としてキャプチャされる。すなわち、左心室の長軸に沿った一連のスライスからなるＳＡＸ（短軸）のビュー。各スライスは、心室の長軸と直交する左心室の短軸の平面にあり、２チャンバ（２ＣＨ）ビューは左心室および左心房または右心室および右心房のどちらかを示す長軸（ＬＡＸ）ビューであり、３チャンバ（３ＣＨ）ビューは、左心室、左心房、および大動脈、または右心室、右心房、および大動脈のどちらかを示すＬＡＸビューであり、４チャンバ（４ＣＨ）ビューは、左心室、左心房、右心室、および右心房を示すＬＡＸビューである。
獲得のタイプに応じて、これらのビューは、スキャナ内に直接的にキャプチャされてもよいし（たとえば、定常自由歳差運動（ＳＳＦＰ）ＭＲＩ）、異なる方位に並べられたボリュームの多断面再構成（ＭＰＲ）を介して作成されてもよい（軸面、矢状面、または冠状面など、たとえば、４Ｄ Ｆｌｏｗ ＭＲＩ）。ＳＡＸビューは、通常は心臓のボリューム全体を覆う複数の空間的スライスを有するが、２ＣＨビュー、３ＣＨビュー、および４ＣＨビューは、多くの場合、単一の空間的スライスのみを有する。すべての系列はシネであり、完全な心臓周期を取り巻く複数のタイムポイントを有する。
心機能のいくつかの重要な測定は、心室容積の正確な測定に依存する。たとえば、駆出分画（ＥＦ）は、あらゆる心拍とともに拍出される左心室（ＬＶ）内の血液の割合を表す。異常に低いＥＦ示度は、多くの場合、心不全と関連づけられる。ＥＦの測定は、ＬＶが最大に収縮される収縮期末と、ＬＶが最大に拡張される拡張期末との両方において、心室の血液貯留の容積に依存する。
ＬＶの分量を測定するために、心室は、一般的に、ＳＡＸビューにおいてセグメンテーションされる。ケースを検討する放射線科医は、最初に、単一のスライスのためにタイムポイントを手動で巡回し、心室がそれぞれ最大に収縮または拡張されるタイムポイントを決定することによって、収縮末期（ＥＳ）のタイムポイントおよび拡張末期（ＥＤ）のタイムポイントを決定する。それらの２つのタイムポイントを決定した後、放射線科医は、心室が視認可能であるＳＡＸ系列のすべてのスライス内のＬＶの周りの輪郭を描画する。
輪郭が作成されると、各スライス内の心室の面積が、輪郭内のピクセルを総計し、ｘ方向およびｙ方向における平面内ピクセル間隔（たとえば、ピクセルごとにｍｍ単位で）を乗算することによって、計算されることができる。次いで、総心室ボリュームが、各空間的スライス内の面積を総計して、スライス間の距離（たとえば、ミリメートル（ｍｍ）単位）を乗算することによって、決定可能である。これは、立方ｍｍ単位でボリュームを生じる。直線セグメントを使用する離散積分を近似する代わりに二次セグメントを使用して近似するシンプソンの法則の変形などの、全容積を決定するためにスライス面積上で統合する他の方法も、使用されてよい。容積は、一般的には、ＥＳおよびＥＤにおいて計算され、駆出分画および類似のメトリックは、容積から決定されてよい。
ＬＶの血液貯留の容積を測定するために、放射線科医は、一般的には、２つのタイムポイント（ＥＳおよびＥＤ）の各々における約１０の空間的スライス上で、合計で約２０の輪郭に対して、ＬＶ心内膜（心筋の内壁）に沿って輪郭を作成する。いくつかの半自動化された輪郭留置ツール（たとえば、能動輪郭または「スネーク（ｓｎａｋｅｓ）」アルゴリズムを使用する）が存在するが、これらは、依然として一般的には、特にノイズまたはアーチファクトを有する画像に関する、輪郭の何らかの手動調整を必要とする。これらの輪郭を作成するプロセス全体は、１０分またはそれ以上かかることがあり、大部分は手動調整を伴う。例となるＬＶ心内膜の輪郭は、図１において画像１００ａ〜１００ｋとして示され、図１は、詳細なＳＡＸの積重ね上の単一のタイムポイントにおける輪郭を示す。１００ａから１００ｋまで、スライスは、左心室の心尖から左心室の基部まで進む。
上記の説明は、ＬＶの血液貯留の測定（ＬＶ心内膜の輪郭描出を介した）に特有であるが、同じ容積測定のが、多くの場合、右心室における機能的病状を評価するために右心室（ＲＶ）の血液貯留に実行されることが必要である。加えて、心筋（心臓筋肉）の質量の測定が必要とされることがあり、これは、心外膜（心筋層の外面）の輪郭を描出することを必要とする。これらの４つの輪郭（ＬＶ心内膜、ＬＶ心外膜、ＲＶ心内膜、ＲＶ心外膜）の各々は、熟練した放射線科医が、半自動化されたツールを使用しても作成および補正するのに、およそ１０分またはそれ以上かかる可能性がある。４つの輪郭をすべて作成することは、３０分またはそれよりも長くかかる可能性がある。
このプロセスの面倒さの最も明らかな結果は、心臓ＭＲＩのスタディを読み取ることが、費用がかかるということである。別の重要な結果は、絶対的に必要でない限り輪郭ベース測定が一般に実行されないことであり、これは、各実行された心臓ＭＲＩのスタディから抽出可能である診断情報を制限する。全自動化された輪郭生成および容積測定は、放射線科医スループットに対するだけでなく、各スタディから抽出可能である診断情報の量にも対する、重大な利益を明らかに有するであろう。
能動輪郭ベース方法の制限
心室輪郭を作成する最も基本的な方法は、自動化されたアルゴリズムまたはツールなしで、何らかの種類のポリゴンまたはスプライン描画ツールを用いてプロセスを手動で完了することである。このケースでは、ユーザは、たとえば、心室のアウトラインのフリーハンド描画を作成してもよいし、スプライン制御点をドロップし、次いで、スプライン制御点が、滑らかにされたスプライン輪郭と接続されてもよい。輪郭の初期作成後、ソフトウェアのユーザインタフェースに応じて、ユーザは、一般的には、たとえば、制御点を移動、追加、もしくは削除することによって、またはスプラインセグメントを移動させることによって、輪郭を修正する何らかの能力を有する。
心室輪郭を作成する最も基本的な方法は、自動化されたアルゴリズムまたはツールなしで、何らかの種類のポリゴンまたはスプライン描画ツールを用いてプロセスを手動で完了することである。このケースでは、ユーザは、たとえば、心室のアウトラインのフリーハンド描画を作成してもよいし、スプライン制御点をドロップし、次いで、スプライン制御点が、滑らかにされたスプライン輪郭と接続されてもよい。輪郭の初期作成後、ソフトウェアのユーザインタフェースに応じて、ユーザは、一般的には、たとえば、制御点を移動、追加、もしくは削除することによって、またはスプラインセグメントを移動させることによって、輪郭を修正する何らかの能力を有する。
このプロセスの面倒さを減少させるために、心室セグメンテーションをサポートするほとんどのソフトウェアパッケージは、半自動化されたセグメンテーションツールを含む。半自動化された心室セグメンテーションのための１つのアルゴリズムは、「スネーク」アルゴリズム（より正式には、「能動輪郭」として知られている）である。（たとえば、非特許文献１参照。）スネークアルゴリズムは、変形可能なスプラインを生成し、これは、エネルギー最小化手法を通して画像内の強度勾配をラップするために制約される。実際には、この手法は、輪郭を画像内の高い勾配のエリア（エッジ）に制約することと、また、輪郭内の「キンク」または高い方位勾配のエリア（曲率）を最小にすることの両方を求める。最適な結果は、画像のエッジに密接にラップする滑らかな輪郭である。４Ｄ Ｆｌｏｗ心臓スタディにおける左心室心内膜上でのスネークアルゴリズムからの例となる成功した結果が、画像２００図２に示されている。これは、ＬＶ心内膜に対する輪郭２０２を示す。
スネークアルゴリズムは一般的であり、結果として生じるその輪郭を修正することは、ゼロから輪郭を生成するよりも著しく早い可能性があるが、スネークアルゴリズムは、いくつかの重大な欠点を有する。特に、スネークアルゴリズムは、「シード」を必要とする。アルゴリズムによって改善される「シード輪郭」は、ユーザによって、または発見的教授法によって、のどちらかで設定されなければならない。そのうえ、スネークアルゴリズムは、局所的な文脈のみを知る。スネークのための費用関数は、一般的には、輪郭が画像内のエッジに重なるとき、クレジットを与える。しかしながら、検出されたエッジが所望のエッジであることをアルゴリズムに知らせるやり方はない。たとえば、心内膜対他の解剖学的エンティティ（たとえば、他の心室、肺、肝臓）の境界との間の明確な弁別はない。したがって、アルゴリズムは、予測可能な解剖学的構造およびシードが適切に設定されることに非常に依存している。さらに、スネークアルゴリズムは、貪欲（greedy)である。スネークのエネルギー関数は、多くの場合、費用関数の勾配の方向に自由パラメーターを反復的に移動させる勾配降下などの貪欲なアルゴリズムを使用して、最適化される。しかしながら、勾配降下、および多くの類似の最適化アルゴリズムは、費用関数の極小値に陥りやすい。これは、イメージングアーチファクトまたは血液貯留と乳頭筋との間のエッジなどの画像内の誤ったエッジに潜在的に結びつけられる輪郭として現れる。加えて、スネークアルゴリズムは、小さい表現空間を有する。スネークアルゴリズムは、一般に、数十の調節可能なパラメーターのみを有し、したがって、セグメンテーションが望ましい可能な画像の多様なセットを表す能力を有していない。多くの異なる要因が、解剖学的構造（たとえば、サイズ、心室の形状、病状、手術歴、乳頭筋）、イメージングプロトコル（たとえば、造影剤、パルスシーケンス、スキャナタイプ、受信機コイル品質およびタイプ、患者ポジショニング、画像解像度）、および他の要因（たとえば、モーションアーチファクト）を含む、心室の知覚されたキャプチャされた画像に影響することができる。記録された画像に対する大きな多様性および少数の調節可能なパラメーターのために、スネークアルゴリズムは、「行儀の良い（ｗｅｌｌ−ｂｅｈａｖｅｄ）」ケースの小さいサブセット上でのみうまく実行することができる。
スネークアルゴリズムのこれらおよび他の欠点にもかかわらず、スネークアルゴリズムの普及は、主に、明確な「訓練」なしにスネークアルゴリズムが展開可能であるという事実から生じ、これは、実施することを比較的単純にする。しかしながら、スネークアルゴリズムは、より難しいケースで機能するように適切に調節することはできない。
乳頭筋を血液貯留から除外する課題
乳頭筋は、左心室と右心室の両方の心内膜の内部にある筋肉である。乳頭筋は、心室収縮中に僧帽弁および三尖弁にかかる圧力が増加するときに弁を閉鎖したままにしておくのに役立つ。図３は、乳頭筋および左心室の心筋層を示す例となるＳＳＦＰ ＭＲＩ画像３００ａ（拡張末期）および３００ｂ（収縮末期）を示す。拡張末期（画像３００ａ）では、主な課題は、乳頭筋を、それらが埋め込まれた血液貯留から区別することにあるが、収縮末期（画像３００ｂ）では、主な課題は、心筋層から乳頭筋を区別することにあることに留意されたい。
乳頭筋は、左心室と右心室の両方の心内膜の内部にある筋肉である。乳頭筋は、心室収縮中に僧帽弁および三尖弁にかかる圧力が増加するときに弁を閉鎖したままにしておくのに役立つ。図３は、乳頭筋および左心室の心筋層を示す例となるＳＳＦＰ ＭＲＩ画像３００ａ（拡張末期）および３００ｂ（収縮末期）を示す。拡張末期（画像３００ａ）では、主な課題は、乳頭筋を、それらが埋め込まれた血液貯留から区別することにあるが、収縮末期（画像３００ｂ）では、主な課題は、心筋層から乳頭筋を区別することにあることに留意されたい。
心室の血液貯留のセグメンテーションを実行する（手動かまたは自動化されたかのどちらか）とき、乳頭筋は、輪郭内に含まれる、または輪郭から除外される、のどちらかであってよい。血液貯留を取り囲む輪郭は、多くの場合、乳頭筋が輪郭内に含まれるか輪郭から除外されるかに関係なく、口語では「心内膜の輪郭」と呼ばれることに留意されたい。後者のケースでは、輪郭は心内膜の真の表面に滑らかにマッピングしないので、「心内膜」という用語は厳密には正確でない。これにもかかわらず、「心内膜の輪郭」という用語が、便宜上使用される。
心内膜の輪郭は、一般的には、心室内の血液ボリュームを測定するために、ＳＡＸの積重ねにおけるあらゆる画像上で作成される。したがって、血液ボリュームの最も正確な尺度は、乳頭筋が心内膜の輪郭から除外される場合になされる。しかしながら、筋肉が多数あり、小さいので、それらを手動輪郭から除外することは、輪郭を作成するとき、より多くの注意が払われることを大いに必要とし、プロセスの面倒さを劇的に増加させる。その結果、手動輪郭を作成するとき、乳頭筋は、一般的には、心内膜の輪郭内に含まれ、心室血液ボリュームの適度の過大見積もりという結果になる。技術的に、これは、血液貯留の容積および乳頭筋の容積の総計を測定する。
自動化されたまたは半自動化されたユーティリティは、乳頭筋を心内膜の輪郭から除外するプロセスをスピードアップすることができるが、それらは、著しい注意事項を有する。スネークアルゴリズム（上記で論じられた）は、その標準的な定式化は、孔のない単一の接続された領域の輪郭描出のみを可能にするので、拡張末期において乳頭筋を除外するのに適切でない。アルゴリズムは、輪郭内の孔を取り扱うように適合されることができるが、乳頭筋は血液貯留よりもはるかに小さいので、アルゴリズムは、小さい接続された領域と大きい接続された領域の両方を同時に取り扱うように著しく再定式化されなければならないであろう。手短に言えば、標準的なスネークアルゴリズムが、血液貯留をセグメンテーションし、拡張末期において乳頭筋を除外するために使用されることになることは可能でない。
収縮末期において、乳頭筋質量の大部分が心筋層に当接するとき、スネークアルゴリズムは、デフォルトで乳頭筋の大部分を心内膜の輪郭から除外し、それらを含むことがなされることはできない（乳頭筋と心筋層との間に強度境界線がほとんどない、またはないので）。したがって、標準的な定式化では、スネークアルゴリズムは、拡張末期において乳頭筋のみを含み、収縮末期においてそれらのみを除外することができ、心臓周期の経過にわたる血液貯留の容積についての矛盾する測定という結果になる。これは、スネークアルゴリズムの主な制限であり、ユーザによる著しい補正なしでの、その出力の臨床使用を防止する。
血液貯留の輪郭を作成する代替の半自動化された方法は、「フラッドフィル（ｆｌｏｏｄ ｆｉｌｌ）」アルゴリズムを使用している。フラッドフィルアルゴリズムの下で、ユーザは初期シード点を選択し、強度勾配およびシード点からの距離が閾値を超えないシード点に接続されるすべてのピクセルが、選択されたマスク内に含まれる。スネークアルゴリズムと同様に、フラッドフィルは、セグメンテーション領域が接続されることを必要とするが、フラッドフィルは、接続された領域が孔を有することを可能にするという利点を有する。したがって、乳頭筋は、強度に基づいて血液貯留から区別可能であるので、フラッドフィルアルゴリズムは、乳頭筋をセグメンテーションから除外するために、ユーザ入力を通して動的に、またはハードコーディングされた様式で、のどちらかで、定式化可能である。フラッドフィルは、拡張末期において心内膜セグメンテーションから乳頭筋を含むために使用されてもよい。しかしながら、収縮末期において、乳頭筋の大半は心筋層に接続される（２つの領域を、互いとほぼ区別不可能にする）ので、フラッドフィルは、心内膜セグメンテーション内の乳頭筋を含むために使用可能ではない。
収縮末期において乳頭筋を心筋層から区別できないこと以上に、フラッドフィルの主な欠点は、それが、全手動セグメンテーションと比較されたときセグメンテーションプロセスのために必要とされる労力を著しく減少させることができるが、それは、フラッドフィル勾配および距離閾値を動的に決定するために多量のユーザ入力を依然として必要とすることである。出願人は、正確なセグメンテーションは、フラッドフィルツールを使用して作成可能であるが、許容できる臨床精度を有するそれらを作成することは、著しい手動調整を依然として必要とすることを発見した。
短軸ビュー上の基部スライスをセグメンテーションする課題
心臓セグメンテーションは、一般的には、短軸またはＳＡＸの積重ねから画像上で作成される。ＳＡＸの積重ね上のセグメンテーションを実行する１つの主な欠点は、ＳＡＸ平面が、僧帽弁および三尖弁の平面とほぼ平行であることである。これは、２つの影響を有する。第一に、弁は、スライス上でＳＡＸの積重ねから区別することが非常に困難である。第二に、ＳＡＸの積重ねは、弁平面と正確に平行でないと仮定すると、一部は心室内にあり一部は心房内にある少なくとも１つのスライスが心臓の基部の近くにある。
心臓セグメンテーションは、一般的には、短軸またはＳＡＸの積重ねから画像上で作成される。ＳＡＸの積重ね上のセグメンテーションを実行する１つの主な欠点は、ＳＡＸ平面が、僧帽弁および三尖弁の平面とほぼ平行であることである。これは、２つの影響を有する。第一に、弁は、スライス上でＳＡＸの積重ねから区別することが非常に困難である。第二に、ＳＡＸの積重ねは、弁平面と正確に平行でないと仮定すると、一部は心室内にあり一部は心房内にある少なくとも１つのスライスが心臓の基部の近くにある。
左心室と左心房の両方が単一のスライス内で視認可能である例となるケースが、図４の画像４００ａおよび４００ｂに示されている。臨床医が、対応するＬＡＸビュー上に投影された現在のＳＡＸスライスを参照するのに失敗した場合、ＳＡＸスライスが心室と心房の両方にまたがることが明らかでないことがある。さらに、心室と心房は類似の信号強度を有するので、ＬＡＸビューが利用可能である場合であっても、ＳＡＸスライス上で弁がどこに配置されているかを、したがって、心室のセグメンテーションがどこで終了するべきであるかを告げることが難しいことがある。したがって、心臓の基部近くのセグメンテーションは、心室セグメンテーションのための誤差の主な源のうちの１つである。
ランドマーク
心臓画像法アプリケーションの４Ｄ Ｆｌｏｗワークフローでは、ユーザは、異なる心臓ビュー（たとえば、２ＣＨ、３ＣＨ、４ＣＨ、ＳＡＸ）を見て心室をセグメンテーションするために、心臓内の異なるランドマークの領域を画定するために必要とされることがある。ＬＶをセグメンテーションし、２ＣＨ左心臓ビュー、３ＣＨ左心臓ビュー、および４ＣＨ左心臓ビューを見るために必要とされるランドマークは、ＬＶ心尖、僧帽弁、および大動脈弁を含む。ＲＶをセグメンテーションし、対応するビューを見るために必要とされるランドマークは、ＲＶ心尖、三尖弁、および肺動脈弁を含む。
心臓画像法アプリケーションの４Ｄ Ｆｌｏｗワークフローでは、ユーザは、異なる心臓ビュー（たとえば、２ＣＨ、３ＣＨ、４ＣＨ、ＳＡＸ）を見て心室をセグメンテーションするために、心臓内の異なるランドマークの領域を画定するために必要とされることがある。ＬＶをセグメンテーションし、２ＣＨ左心臓ビュー、３ＣＨ左心臓ビュー、および４ＣＨ左心臓ビューを見るために必要とされるランドマークは、ＬＶ心尖、僧帽弁、および大動脈弁を含む。ＲＶをセグメンテーションし、対応するビューを見るために必要とされるランドマークは、ＲＶ心尖、三尖弁、および肺動脈弁を含む。
３Ｄ Ｔ１強調ＭＲＩ上でランドマークを配置する既存の方法は、非特許文献２に開示されている。この論文において開発された方法は、本明細書において、「ＬａｎｄＭａｒｋＤｅｔｅｃｔ」と呼ばれる。ＬａｎｄＭａｒｋＤｅｔｅｃｔは、２つの注目すべき構成要素に基づく。第一に、非特許文献３において論じられるようなＵ−Ｎｅｔニューラルネットワークの変形形態が使用される。第二に、ランドマークは、恣意的に選ばれた標準偏差のガウス関数を使用して訓練中に符号化される。図５のＬａｎｄＭａｒｋＤｅｔｅｃｔニューラルネットワーク５００は、最大プーリング層の代わりの平均プーリング層の使用において、Ｕ−Ｎｅｔと異なる。
ＬａｎｄＭａｒｋＤｅｔｅｃｔの１つの制限は、欠落したランドマークを取り扱う方法の欠如である。あらゆる単一のランドマークが各画像上に正確に配置されていると仮定される。別の制限は、カーネルおよび層サイズを除くハイパーパラメーター探索の不在である。さらに別の制限は、学習すべきパラメーターをもたない固定されたアップサンプリング層である。さらに、ＬａｎｄＭａｒｋＤｅｔｅｃｔは、３Ｄ画像の平均（すなわち、入力データを中心に置く）を除去する際に存在する制限された前処理戦略に依拠する。
したがって、上記で論じられた欠点のうちのいくつかまたはすべてに対処するシステムおよび方法が必要とされている。
Ｋａｓｓ，Ｍ．，Ｗｉｔｋｉｎ，Ａ．，＆Ｔｅｒｚｏｐｏｕｌｏｓ，Ｄ．（１９８８）．"Ｓｎａｋｅｓ： Ａｃｔｉｖｅ ｃｏｎｔｏｕｒ ｍｏｄｅｌｓ．"Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，７（４），３２１−３３１
Ｐａｙｅｒ， Ｃｈｒｉｓｔｉａｎ，Ｄａｒｋｏ Ｓｔｅｒｎ，Ｈｏｒｓｔ Ｂｉｓｃｈｏｆ， ａｎｄＭａｒｔｉｎ Ｕｒｓｃｈｌｅｒ．"Ｒｅｇｒｅｓｓｉｎｇ Ｈｅａｔｍａｐｓ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ＣＮＮｓ．"Ｉｎ Ｐｒｏｃ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ＆ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ （ＭＩＣＣＡＩ） ２０１６．Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ．
Ｒｏｎｎｅｂｅｒｇｅｒ，Ｏｌａｆ，Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ， ａｎｄＴｈｏｍａｓ Ｂｒｏｘ．"Ｕ−ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ．"Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ、ｐｐ．２３４−２４１．Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ， ２０１５
Ａ． Ｒｏｓｅｎｆｅｌｄ ａｎｄ Ｊ．Ｓ． Ｗｅｓｚｋａ．"Ａｎ ｉｍｐｒｏｖｅｄ ｍｅｔｈｏｄ ｏｆ ａｎｇｌｅ ｄｅｔｅｃｔｉｏｎ ｏｎ ｄｉｇｉｔａｌ ｃｕｒｖｅｓ．"Ｃｏｍｐｕｔｅｒｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ、Ｃ−２４（９）：９４０−９４１， Ｓｅｐｔ．１９７５
Ｋａｓｓ，Ｍ．，Ｗｉｔｋｉｎ，Ａ．，Ｔｅｒｚｏｐｏｕｌｏｓ，Ｄ．：Ｓｎａｋｅｓ： Ａｃｔｉｖｅ ｃｏｎｔｏｕｒ ｍｏｄｅｌｓ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（１９８８）３２１−３３１
Ｚｈｕ，Ｗ．，ｅｔ ａｌ．：Ａ ｇｅｏｄｅｓｉｃ−ａｃｔｉｖｅ−ｃｏｎｔｏｕｒ−ｂａｓｅｄ ｖａｒｉａｔｉｏｎａｌ ｍｏｄｅｌ ｆｏｒ ｓｈｏｒｔ−ａｘｉｓ ｃａｒｄｉａｃ ＭＲＩ ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｍａｔｈ．９０（１）（２０１３）
Ｌｏｎｇ，Ｊ．，Ｓｈｅｌｈａｍｅｒ，Ｅ．，Ｄａｒｒｅｌｌ，Ｔ．：Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ＣＶＰＲ．（２０１５）３４３１−３４４０
Ｎｏｈ，Ｈ．，Ｈｏｎｇ，Ｓ．，Ｈａｎ，Ｂ．：Ｌｅａｒｎｉｎｇ ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ＩＣＣＶ．（２０１５）１５２０−１５２８
Ｒｏｎｎｅｂｅｒｇｅｒ，Ｏ．，Ｆｉｓｃｈｅｒ，Ｐ．，Ｂｒｏｘ，Ｔ．：Ｕ−ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ．Ｉｎ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ− Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ，Ｓｐｒｉｎｇｅｒ（２０１５）２３４−２４１
Ｐａｓｚｋｅ，Ａ．，Ｃｈａｕｒａｓｉａ，Ａ．，ｅｔ ａｌ．：ＥＮｅｔ：Ａ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０６．０２１４７（２０１６）
Ｈｅ，Ｋ．，Ｚｈａｎｇ，Ｘ．，Ｒｅｎ，Ｓ．，Ｓｕｎ，Ｊ．：Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ＣＶＰＲ．（２０１６）７７０−７７８
Ｙｕ，Ｆ．，Ｋｏｌｔｕｎ，Ｖ．：Ｍｕｌｔｉ−ｓｃａｌｅ ｃｏｎｔｅｘｔ ａｇｇｒｅｇａｔｉｏｎ ｂｙ ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５１１．０７１２２（２０１５）
Ａｖｅｎｄｉ，Ｍ．，ｅｔ ａｌ．：Ａ ｃｏｍｂｉｎｅｄ ｄｅｅｐ−ｌｅａｒｎｉｎｇ ａｎｄ ｄｅｆｏｒｍａｂｌｅ−ｍｏｄｅｌ ａｐｐｒｏａｃｈ ｔｏ ｆｕｌｌｙ ａｕｔｏｍａｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｌｅｆｔ ｖｅｎｔｒｉｃｌｅ ｉｎ ｃａｒｄｉａｃ ＭＲＩ．ＭｅｄＩＡ ３０（２０１６）
Ｔｒａｎ，Ｐ．Ｖ．：Ａ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｃａｒｄｉａｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ｓｈｏｒｔ−ａｘｉｓ ＭＲＩ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０４．００４９４（２０１６）
Ｌａｕ，Ｈ．Ｋ．，ｅｔ ａｌ．：Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ： Ａｕｔｏｍａｔｅｄ ｃａｒｄｉａｃ ＭＲＩ ｖｅｎｔｒｉｃｌｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（２０１６）
Ｃｈｏｌｌｅｔ，Ｆ．：Ｋｅｒａｓ． ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｆｃｈｏｌｌｅｔ／ｋｅｒａｓ（２０１５）
Ａｂａｄｉ，Ｍ．，Ａｇａｒｗａｌ，Ａ．，Ｂａｒｈａｍ，Ｐ．，Ｂｒｅｖｄｏ，Ｅ．，Ｃｈｅｎ，Ｚ．，Ｃｉｔｒｏ，Ｃ．，Ｃｏｒｒａｄｏ，Ｇ．Ｓ．，Ｄａｖｉｓ，Ａ．，Ｄｅａｎ，Ｊ．，Ｄｅｖｉｎ，Ｍ．，ｅｔ ａｌ．：Ｔｅｎｓｏｒｆｌｏｗ： Ｌａｒｇｅ−ｓｃａｌｅ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｏｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｄｉｓｔｒｉｂｕｔｅｄ ｓｙｓｔｅｍｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０３．０４４６７（２０１６）
Ｋｉｎｇｍａ，Ｄ．，Ｂａ，Ｊ．：Ａｄａｍ：Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１４１２．６９８０（２０１４）
Ｂｅｒｇｓｔｒａ，Ｊ．，Ｂｅｎｇｉｏ，Ｙ．：Ｒａｎｄｏｍ ｓｅａｒｃｈ ｆｏｒ ｈｙｐｅｒ−ｐａｒａｍｅｔｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ １３（Ｆｅｂ）（２０１２）２８１−３０５
Ｍｏｒｄｖｉｎｔｓｅｖ，Ａ．，ｅｔ ａｌ．：Ｄｅｅｐ Ｄｒｅａｍ． ｈｔｔｐｓ：／／ｒｅｓｅａｒｃｈ．ｇｏｏｇｌｅｂｌｏｇ．ｃｏｍ／２０１５／０６／ｉｎｃｅｐｔｉｏｎｉｓｍ−ｇｏｉｎｇ−ｄｅｅｐｅｒ−ｉｎｔｏ−ｎｅｕｒａｌ．ｈｔｍｌ（２０１５）、アクセス：２０１７−０１−１７
Ｓｉｌｖｅｒｍａｎ，Ｂｅｒｎａｒｄ Ｗ．Ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｓｔａｔｉｓｔｉｃｓ ａｎｄ ｄａｔａ ａｎａｌｙｓｉｓ．Ｖｏｌ．２６，ＣＲＣ ｐｒｅｓｓ，１９８６
Ｋａｒｉｍ，Ｒａｓｈｅｄ，ｅｔ ａｌ．"Ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｕｒｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｓｃａｒ ｔｉｓｓｕｅ ｆｒｏｍ ｌａｔｅ ｇａｄｏｌｉｎｉｕｍ ｅｎｈａｎｃｅｍｅｎｔ ｃａｒｄｉｏｖａｓｃｕｌａｒ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｏｆ ｔｈｅ ｌｅｆｔ ａｔｒｉｕｍ： ａｎ ｏｐｅｎ−ａｃｃｅｓｓ ｇｒａｎｄ ｃｈａｌｌｅｎｇｅ．"Ｊｏｕｒｎａｌ ｏｆ Ｃａｒｄｉｏｖａｓｃｕｌａｒ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ １５．１（２０１３）：１０５
［Ｃｈｒｉｓｔｉａｎ ２００４］Ｃｈｒｉｓｔｉａｎ，Ｔｉｍｏｔｈｙ Ｆ．，ｅｔ ａｌ．"Ａｂｓｏｌｕｔｅ ｍｙｏｃａｒｄｉａｌ ｐｅｒｆｕｓｉｏｎ ｉｎ ｃａｎｉｎｅｓ ｍｅａｓｕｒｅｄ ｂｙ ｕｓｉｎｇ ｄｕａｌ−ｂｏｌｕｓ ｆｉｒｓｔ−ｐａｓｓ ＭＲ ｉｍａｇｉｎｇ．"Ｒａｄｉｏｌｏｇｙ ２３２．３（２００４）：６７７−６８４
Ｃｅｒｑｕｅｉｒａ，Ｍａｎｕｅｌ Ｄ．，ｅｔ ａｌ．"Ｓｔａｎｄａｒｄｉｚｅｄ ｍｙｏｃａｒｄｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｎｏｍｅｎｃｌａｔｕｒｅ ｆｏｒ ｔｏｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｏｆ ｔｈｅ ｈｅａｒｔ．"Ｃｉｒｃｕｌａｔｉｏｎ １０５．４（２００２）：５３９−５４２
機械学習システムは、プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、ラベル付与された画像セットの複数のバッチを含む学習データを受信し、各画像セットは、解剖学的構造を表す画像データを含み、各画像セットは、画像セットの各画像内に描かれた解剖学的構造の特定の部分の領域を識別する少なくとも１つのラベルを含み、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように、全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練し、訓練されたＣＮＮモデルを機械学習システムの少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶する少なくとも１つのプロセッサとを含むと要約され得る。ＣＮＮモデルは、収縮用経路と膨張用経路とを含むことができ、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は少なくとも１つの畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含むことができ、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含む。各アップサンプリング層に続いて、ＣＮＮモデルは、スキップ接続を通して収縮用経路内の対応する層からの特徴マップの連結を含むことができる。画像データは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表すことができる。画像データは、超音波データまたは可視光写真データを含むことができる。ＣＮＮモデルは、１から２０００の間の特徴マップを有する第１の畳み込み層を含むことができる収縮用経路を含むことができる。ＣＮＮモデルは、いくつかの畳み込み層を含むことができ、各畳み込み層は、サイズ３×３の畳み込みカーネルと、１のストライドとを含むことができる。ＣＮＮモデルは、いくつかのプーリング層を含むことができ、各プーリング層は、２のストライドを有する２×２最大プーリング層を含むことができる。ＣＮＮモデルは、４つのプーリング層と、４つのアップサンプリング層とを含むことができる。ＣＮＮモデルは、いくつかの畳み込み層を含むことができ、ＣＮＮモデルは、ゼロパディング演算を使用して、各畳み込み層に入力をパディングすることができる。ＣＮＮモデルは、複数の非線形なアクティベーション機能層（nonlinear activation function layers）を含むことができる。
少なくとも１つのプロセッサは、ラベル付与された画像セットの複数のバッチ内の画像データのうち少なくともいくつかの修正を介して学習データを補強することができる。
少なくとも１つのプロセッサは、水平フリップ、垂直フリップ、せん断量、シフト量、ズーム量、回転量、輝度レベル、またはコントラストレベル、のうちの少なくとも１つに従って、ラベル付与された画像セットの複数のバッチ内の画像データのうちの少なくともいくつかを修正することができる。
ＣＮＮモデルは、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶された複数のハイパーパラメーターを含むことができ、少なくとも１つのプロセッサは、各構成がハイパーパラメーターのための値の異なる組み合わせを含む、複数の構成に従ってＣＮＮモデルを構成し、複数の構成の各々に対して、ＣＮＮモデルの正確さを検証し、検証によって決定される正確さに少なくとも部分的に基づいて少なくとも１つの構成を選択することができる。
少なくとも１つのプロセッサは、各画像セットに対して、画像セットが、解剖学的構造の複数の部分のいずれかのためにラベルを欠損しているかどうかを識別し、少なくとも１つのラベルを欠損していると識別される画像セットに対して、識別された欠損ラベルを計上するように訓練損失関数を修正することができる。画像データは、容積測定の画像を含むことができ、各ラベルは、容積測定のラベルマスクまたは輪郭を含むことができる。ＣＮＮモデルの各畳み込み層は、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、ここで、ＮおよびＫは正の整数である。ＣＮＮモデルの各畳み込み層は、サイズＮ×Ｍピクセルの畳み込みカーネルを含むことができ、ここで、ＮおよびＭは正の整数である。画像データは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表すことができ、ラベル付与された画像セットの複数のバッチのサブセットは、乳頭筋を除外するラベルを含むことができる。各処理された画像に対して、ＣＮＮモデルは、空間に関して処理された画像に隣接する、または時間に関して処理された画像に隣接する、のうちの少なくとも１つであってよい少なくとも１つの画像に対して、データを利用することができる。各処理された画像に対して、ＣＮＮモデルは、空間に関して処理された画像に隣接し得る少なくとも１つの画像に対してデータを利用することができ、時間に関して処理された画像に隣接する少なくとも１つの画像に対してデータを利用することができる。各処理された画像に対して、ＣＮＮモデルは、時間的情報または位相情報のうちの少なくとも１つを利用することができる。画像データは、ＳＳＦＰ（定常自由歳差運動）のＭＲＩ（核磁気共鳴画像法）データまたは４Ｄ Ｆｌｏｗ ＭＲＩデータのうちの少なくとも１つを含むことができる。
機械学習システムを動作させる方法は、プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶し得る少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサとを含むことができ、少なくとも１つのプロセッサによって、ラベル付与された画像セットの複数のバッチを含む学習データを受信することであって、各画像セットは、解剖学的構造を表す画像データを含み、各画像セットは、画像セットの各画像内に描かれた解剖学的構造の特定の部分の領域を識別する少なくとも１つのラベルを含む、受信することと、少なくとも１つのプロセッサによって、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように、全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練することと、少なくとも１つのプロセッサによって、訓練されたＣＮＮモデルを機械学習システムの少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶することとを含むと要約されることができる。ＣＮＮモデルを訓練することは、収縮用経路と膨張用経路とを含むＣＮＮモデルを訓練することができ、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は少なくとも１つの畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含むことができ、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含む。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、各アップサンプリング層に続いて、ＣＮＮモデルは、スキップ接続を通して収縮用経路内の対応する層からの特徴マップの連結を含むことができる。学習データを受信することは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表し得る画像データを受信することを含むことができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、ＣＮＮモデルは、１から２０００の間の特徴マップを有する第１の畳み込み層を含むことができる収縮用経路を含むことができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように複数の畳み込み層を含むことができるＣＮＮモデルを訓練することを含むことができ、各畳み込み層は、サイズ３×３の畳み込みカーネルと、１のストライドとを含むことができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように複数のプーリング層を含むことができるＣＮＮモデルを訓練することを含むことができ、各プーリング層は、２のストライドを有する２×２最大プーリング層を含むことができる。
ＣＮＮモデルは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、このＣＮＮモデルは、４つのプーリング層と、４つのアップサンプリング層とを含むことができる。
ＣＮＮモデルは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように複数の畳み込み層を含むことができるＣＮＮモデルを訓練することを含むことができ、ＣＮＮモデルは、ゼロパディング演算を使用して各畳み込み層に入力をパディングすることができる。
ＣＮＮモデルは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、このＣＮＮモデルは、複数の非線形なアクティベーション機能層を含むことができる。
方法は、少なくとも１つのプロセッサによって、ラベル付与された画像セットの複数のバッチ内の画像データのうち少なくともいくつかの修正を介して学習データを補強することをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、水平フリップ、垂直フリップ、せん断量、シフト量、ズーム量、回転量、輝度レベル、またはコントラストレベルのうちの少なくとも１つに従って、ラベル付与された画像セットの複数のバッチ内の画像データのうちの少なくともいくつかを修正することをさらに含むことができる。
ＣＮＮモデルは、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶された複数のハイパーパラメーターを含むことができ、少なくとも１つのプロセッサによって、複数の構成に従ってＣＮＮモデルを構成することであって、各構成が、ハイパーパラメーターのための値の異なる組み合わせを含む、構成することと、複数の構成の各々に対して、少なくとも１つのプロセッサによって、ＣＮＮモデルの正確さを検証することと、少なくとも１つのプロセッサによって、検証によって決定される正確さに少なくとも部分的に基づいて、少なくとも１つの構成を選択することとをさらに含むことができる。
方法は、各画像セットに対して、少なくとも１つのプロセッサによって、画像セットが、解剖学的構造の複数の部分のいずれかのためにラベルを欠損しているかどうかを識別することと、少なくとも１つのラベルを欠損していると識別される画像セットに対して、少なくとも１つのプロセッサによって、識別された欠損ラベルを計上するように訓練損失関数を修正することとをさらに含むことができる。学習データを受信することは、容積測定の画像を含むことができる画像データを受信することを含むことができ、各ラベルは、容積測定のラベルマスクまたは輪郭を含むことができる。
ＣＮＮモデルは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように複数の畳み込み層を含むことができるＣＮＮモデルを訓練することを含むことができ、ＣＮＮモデルの各畳み込み層は、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、ここで、ＮおよびＫは正の整数である。
ＣＮＮモデルは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするように複数の畳み込み層を含むことができるＣＮＮモデルを訓練することを含むことができ、ＣＮＮモデルの各畳み込み層は、サイズＮ×Ｍピクセルの畳み込みカーネルを含むことができ、ここで、ＮおよびＭは正の整数である。学習データを受信することは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表す画像データを受信することを含むことができ、ラベル付与された画像セットの複数のバッチのサブセットは、乳頭筋を除外するラベルを含むことができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、各処理された画像に対して、ＣＮＮモデルは、空間に関して処理された画像に隣接する、または時間に関して処理された画像に隣接する、のうちの少なくとも１つである少なくとも１つの画像のためにデータを利用することができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、各処理された画像に対して、ＣＮＮモデルは、空間に関して処理された画像に隣接する少なくとも１つの画像のためにデータを利用し、時間に関して処理された画像に隣接する少なくとも１つの画像のためにデータを利用することができる。ＣＮＮモデルを訓練することは、受信された学習データを利用して解剖学的構造の少なくとも１つの部分をセグメンテーションするようにＣＮＮモデルを訓練することを含むことができ、各処理された画像に対して、ＣＮＮモデルは、時間的情報または位相情報のうちの少なくとも１つを利用することができる。学習データを受信することは、ＳＳＦＰ（定常自由歳差運動）のＭＲＩ（核磁気共鳴画像法）データまたは４Ｄ Ｆｌｏｗ ＭＲＩデータのうちの少なくとも１つを含むことができる画像データを受信することを含むことができる。
機械学習システムは、プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、解剖学的構造を表す画像データを受信し、画像データの各画像の各ピクセルに対するクラスあたりの確率を生成するように全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを通して受信された画像データを処理し、各クラスは、画像データによって表される解剖学的構造の複数の部分のうちの１つに対応し、画像データの各画像に対して、生成されたクラスあたりの確率を使用して複数のクラスの各々に対する確率マップを生成し、生成された確率マップを少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶する少なくとも１つのプロセッサとを含むと要約され得る。ＣＮＮモデルは、収縮用経路と膨張用経路とを含むことができ、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は少なくとも１つの畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含むことができ、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含むことができる。画像データは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表すことができる。
少なくとも１つのプロセッサは、自律的に、解剖学的構造の複数の部分のうち少なくとも１つの指標を、生成された確率マップに少なくとも部分的に基づいてディスプレイ上に表示させることができる。少なくとも１つのプロセッサは、少なくとも１つの物理的制約が満たされることを保証するように、処理された画像データを後処理することができる。画像データは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表すことができ、少なくとも１つの物理的制約は、すべてのタイムポイントにおいて心筋層の分量が同じであること、または右心室と左心室が互いに重なることはできないこと、のうちの少なくとも１つを含むことができる。少なくとも１つのプロセッサは、画像データの各画像に対して、各ピクセルのクラスを最も高い確率を有するクラスに設定することによって、複数の確率マップをラベルマスクに変形することができる。少なくとも１つのプロセッサは、画像データの各画像に対して、ピクセルに対するクラス確率のすべてが、決定された閾値を下回るとき、各ピクセルのクラスを背景クラスに設定することができる。少なくとも１つのプロセッサは、画像データの各画像に対して、ピクセルが、ピクセルが関連づけられたクラスに対する最も大きい接続された領域の一部でないとき、各ピクセルのクラスを背景クラスに設定することができる。少なくとも１つのプロセッサは、画像データのためのラベルマスクの各々をそれぞれのスプライン輪郭に変換することができる。少なくとも１つのプロセッサは、自律的に、生成された輪郭を、ディスプレイ上で画像データとともに表示させることができる。少なくとも１つのプロセッサは、表示された輪郭のうちの少なくとも１つのユーザ修正を受信し、修正された輪郭を少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶することができる。少なくとも１つのプロセッサは、生成された輪郭を利用して、解剖学的構造の複数の部分のうちの少なくとも１つのボリュームを決定することができる。解剖学的構造は心臓を含んでよく、少なくとも１つのプロセッサは、生成された輪郭を利用して、心臓周期の複数のタイムポイントにおける心臓の複数の部分のうちの少なくとも１つの分量を決定することができる。少なくとも１つのプロセッサは、それぞれ、最小容積および最大容積を有するように決定されたタイムポイントに基づいて、心臓周期の複数のタイムポイントのどれが心臓周期の収縮末期相および拡張末期相に対応するかを自動的に決定することができる。少なくとも１つのプロセッサは、解剖学的構造の複数の部分のうちの少なくとも１つの決定されたボリュームを、ディスプレイ上に表示させることができる。画像データは、容積測定の画像を含むことができる。ＣＮＮモデルの各畳み込み層は、サイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができ、ここで、ＮおよびＫは正の整数である。
機械学習システムを動作させる方法は、プロセッサ実行可能命令またはデータのうち少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサとを含むことができ、少なくとも１つのプロセッサによって、解剖学的構造を表す画像データを受信することと、少なくとも１つのプロセッサによって、画像データの各画像の各ピクセルに対するクラスあたりの確率を生成するように全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを通して受信された画像データを処理することであって、各クラスは、画像データによって表される解剖学的構造の複数の部分のうちの１つに対応する、処理することと、画像データの各画像に対して、少なくとも１つのプロセッサによって、生成されたクラスあたりの確率を使用して複数のクラスの各々に対する確率マップを生成することと、少なくとも１つのプロセッサによって、生成された確率マップを少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶することとを含むと要約されることができる。ＣＮＮモデルを通して受信された画像データを処理することは、収縮用経路と膨張用経路とを含むことができるＣＮＮモデルを通して受信された画像データを処理することであって、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は少なくとも１つの畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含み、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行される、処理することを含むことができ、アップサンプリングと、学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含むことができる。画像データを受信することは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表す画像データを受信することを含むことができる。
方法は、少なくとも１つのプロセッサによって、自律的に、解剖学的構造の複数の部分のうちの少なくとも１つの指標を、生成された確率マップに少なくとも部分的に基づいてディスプレイ上に表示させることをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、少なくとも１つの物理的制約が満たされることを保証するように、処理された画像データを後処理することをさらに含むことができる。画像データを受信することは、心臓周期全体を通じて１つまたは複数のタイムポイントの間の心臓を表し得る画像データを受信することを含むことができ、少なくとも１つの物理的制約は、すべてのタイムポイントにおいて心筋層の分量が同じであること、または右心室と左心室が互いに重なることはできないこと、のうちの少なくとも１つを含むことができる。
方法は、少なくとも１つのプロセッサによって、画像データの各画像に対して、各ピクセルのクラスを最も高い確率を有するクラスに設定することによって、複数の確率マップをラベルマスクに変形することを含むことができる。
方法は、少なくとも１つのプロセッサによって、画像データの各画像に対して、ピクセルに対するクラス確率のすべてが、決定された閾値を下回るとき、各ピクセルのクラスを背景クラスに設定することをさらに含むことができる。
方法は、画像データの各画像に対して、少なくとも１つのプロセッサによって、ピクセルが、ピクセルが関連づけられたクラスに対する最も大きい接続された領域の一部でないとき、各ピクセルのクラスを背景クラスに設定することをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、画像データのためのラベルマスクの各々をそれぞれのスプライン輪郭に変換することをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、自律的に、生成された輪郭を、ディスプレイ上で画像データとともに表示させることをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、表示された輪郭のうちの少なくとも１つのユーザ修正を受信することと、少なくとも１つのプロセッサによって、修正された輪郭を少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶することとをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、生成された輪郭を利用して、解剖学的構造の複数の部分のうちの少なくとも１つの分量を決定することをさらに含むことができる。
解剖学的構造は心臓を含んでよく、方法は、少なくとも１つのプロセッサによって、生成された輪郭を利用して、心臓周期の複数のタイムポイントにおける心臓の複数の部分のうちの少なくとも１つの分量を決定することをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、それぞれ、最小容積および最大容積を有するように決定されたタイムポイントに基づいて、心臓周期の複数のタイムポイントのどれが心臓周期の収縮末期相および拡張末期相に対応するかを自動的に決定することをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、解剖学的構造の複数の部分のうちの少なくとも１つの決定されたボリュームを、ディスプレイ上に表示させることをさらに含むことができる。画像データを受信することは、容積測定の画像データを受信することを含むことができる。ＣＮＮモデルを通して受信された画像データを処理することは、各畳み込み層がサイズＮ×Ｎ×Ｋピクセルの畳み込みカーネルを含むことができるＣＮＮモデルを通して受信された画像データを処理することであって、ここで、ＮおよびＫは正の整数である、処理することを含むことができる。
機械学習システムは、プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、３Ｄ ＭＲＩ画像の複数のセットを受信し、複数のセットの各々における画像は患者の解剖学的構造を表し、３Ｄ ＭＲＩ画像の複数のセットのための複数のアノテーションを受信し、各アノテーションは、対応する画像内に描かれた患者の解剖学的構造のランドマークを示し、３Ｄ ＭＲＩ画像を利用して複数のランドマークのロケーションを予測するように畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練し、訓練されたＣＮＮモデルを機械学習システムの少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶する少なくとも１つのプロセッサとを含むと要約され得る。少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像を利用して複数のランドマークのロケーションを予測するように全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練することができる。少なくとも１つのプロセッサは、空間座標の１つまたは複数のセットである出力を有するＣＮＮモデルを訓練することができ、１つまたは複数の空間座標の各セットは、複数のランドマークのうち１つのロケーションを識別する。ＣＮＮモデルは、１つまたは複数の全接続された層によってたどられる収縮用経路を含むことができる。ＣＮＮモデルは、収縮用経路と膨張用経路とを含むことができ、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は１つまたは複数の畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含むことができ、各アップサンプリング層は、１つまたは複数の畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含む。
少なくとも１つのプロセッサは、解剖学的構造の１つまたは複数のランドマークの各々に対して、３Ｄ ＭＲＩ画像の受信されたセットおよび受信された複数のアノテーションに少なくとも部分的に基づいて３Ｄラベルマップを定義することができ、各３Ｄラベルマップは、ランドマークが３Ｄラベルマップ上の特定のロケーションに配置される可能性を符号化し、少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像および生成された３Ｄラベルマップを利用して１つまたは複数のランドマークをセグメンテーションするように、ＣＮＮモデルを訓練することができる。複数のセットの各々における画像は、心臓周期の異なるそれぞれのタイムポイントにおける患者の心臓を表すことができ、各アノテーションは、対応する画像内に描かれる患者の心臓のランドマークを示すことができる。
少なくとも１つのプロセッサは、３Ｄ ＭＲＩ画像のセットを受信し、１つまたは複数のランドマークのうちの少なくとも１つを検出するようにＣＮＮモデルを通して受信された３Ｄ ＭＲＩ画像を処理し、複数のランドマークのうちの検出された少なくとも１つを、ディスプレイ上に提示させることができる。少なくとも１つのプロセッサは、ＣＮＮモデルを通して受信された３Ｄ ＭＲＩ画像を処理することができ、点またはラベルマップのうちの少なくとも１つを出力する。少なくとも１つのプロセッサは、複数のタイムポイントにおける複数のランドマークのうちの少なくとも１つを検出するようにＣＮＮモデルを通して受信された３Ｄ ＭＲＩ画像を処理し、複数のタイムポイントにおける複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示させることができる。ＣＮＮモデルは、受信された３Ｄ ＭＲＩ画像と関連づけられた位相情報を利用することができる。
機械学習システムを動作させる方法は、プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶することができる少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサとを含むことができ、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像の複数のセットを受信することであって、複数のセットの各々における画像は患者の解剖学的構造を表す、受信することと、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像の複数のセットのための複数のアノテーションを受信することであって、各アノテーションは、対応する画像内に描かれた患者の解剖学的構造のランドマークを示す、受信することと、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像を利用して複数のランドマークのロケーションを予測するように畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練することと、少なくとも１つのプロセッサによって、訓練されたＣＮＮモデルを機械学習システムの少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体内に記憶することとを含むと要約され得る。ＣＮＮモデルを訓練することは、３Ｄ ＭＲＩ画像を利用して複数のランドマークのロケーションを予測するように全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練することを含むことができる。ＣＮＮモデルを訓練することは、空間座標の１つまたは複数のセットである出力を有するＣＮＮモデルを訓練することであって、１つまたは複数の空間座標の各セットは、複数のランドマークのうちの１つのロケーションを識別する、訓練することを含むことができる。ＣＮＮモデルを訓練することは、１つまたは複数の全接続された層によってたどらされる収縮用経路を含むことができるＣＮＮモデルを訓練することを含むことができる。ＣＮＮモデルを訓練することは、収縮用経路と膨張用経路とを含むことができるＣＮＮモデルを訓練することであって、収縮用経路は、いくつかの畳み込み層と、いくつかのプーリング層とを含み、各プーリング層は少なくとも１つの畳み込み層によって先行され、膨張用経路は、いくつかの畳み込み層と、いくつかのアップサンプリング層とを含み、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行される、訓練することを含むことができ、アップサンプリングと、学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含む。
方法は、解剖学的構造の複数のランドマークの各々に対して少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像の受信されたセットおよび受信された複数のアノテーションに少なくとも部分的に基づいて３Ｄラベルマップを定義することであって、各３Ｄラベルマップは、ランドマークが３Ｄラベルマップ上の特定のロケーションに配置される可能性を符号化する、定義することをさらに含むことができ、３Ｄ ＭＲＩ画像の複数のセットを受信することは、３Ｄ ＭＲＩ画像の複数のセットを受信することを含むことができ、複数のセットの各々における画像は、心臓周期の異なるそれぞれのタイムポイントにおける患者の心臓を表すことができ、各アノテーションは、対応する画像内に描かれた患者の心臓のランドマークを示すことができる。
方法は、少なくとも１つのプロセッサによって、３Ｄ ＭＲＩ画像のセットを受信することと、少なくとも１つのプロセッサによって、複数のランドマークのうちの少なくとも１つを検出するように、ＣＮＮモデルを通して受信された３Ｄ ＭＲＩ画像を処理することと、少なくとも１つのプロセッサによって、複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示させることとをさらに含むことができる。
方法は、少なくとも１つのプロセッサによって、複数のタイムポイントにおける複数のランドマークのうちの少なくとも１つを検出するようにＣＮＮモデルを通して受信された３Ｄ ＭＲＩ画像を処理することと、少なくとも１つのプロセッサによって、複数のタイムポイントにおける複数のランドマークのうちの検出された少なくとも１つをディスプレイ上に提示させることとをさらに含むことができる。
ＣＮＮモデルを訓練することは、受信された３Ｄ ＭＲＩ画像と関連づけられた位相情報を利用し得るＣＮＮモデルを訓練することを含むことができる。
医用画像処理システムは、プロセッサ実行可能命令またはデータ、心臓ＭＲＩの画像データ、ならびに心臓の心内膜および心外膜を描写する初期輪郭またはマスクのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、動作時に、系列に対する心臓ＭＲＩの画像データおよび初期輪郭またはマスクにアクセスし、心内膜の輪郭の内部で血液を乳頭筋および肉柱筋（trabeculae muscles）から区別する画像強度閾値を自律的に計算し、乳頭筋および肉柱筋の境界線を説明する輪郭またはマスクを定義するために画像強度閾値を自律的に適用する少なくとも１つのプロセッサとを含むと要約され得る。画像強度閾値を計算するために、少なくとも１つのプロセッサは、心内膜の輪郭内の強度値の分布を、心内膜の輪郭と心外膜輪郭との間の領域のための強度値の分布と比較することができる。少なくとも１つのプロセッサは、経験的強度分布のカーネル密度推定を使用して強度値の分布の各々を計算することができる。少なくとも１つのプロセッサは、第１の確率分布関数と第２の確率分布関数の交点におけるピクセル強度であるように画像強度閾値を決定することができ、第１の確率分布関数は、心内膜の輪郭内のピクセルのセットに対するものであり、第２の確率分布関数は、心内膜の輪郭と心外膜輪郭との間の領域内のピクセルのセットに対するものである。心臓の心内膜を描写する初期輪郭またはマスクは、心内膜の輪郭の内部に乳頭筋と肉柱筋を含むことができる。少なくとも１つのプロセッサは、血液貯留領域の接続された構成要素を計算することができ、計算された接続された構成要素のうちの１つまたは複数を血液貯留領域から破棄する。少なくとも１つのプロセッサは、血液貯留領域から破棄された接続された構成要素を乳頭筋および肉柱筋領域へと変換することができる。少なくとも１つのプロセッサは、血液貯留領域における最大の接続された構成要素を除いたすべてを血液貯留領域から破棄することができる。少なくとも１つのプロセッサは、乳頭筋および肉柱筋の境界線を説明する計算された輪郭またはマスクが、ユーザによって編集されることを可能にすることができる。
機械学習システムは、プロセッサ実行可能命令またはデータ、心臓の医用画像法のデータ、および訓練された畳み込みニューラルネットワーク（ＣＮＮ）モデルのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、動作時に、訓練されたＣＮＮモデルを使用して医用画像法のデータ内の心臓の心内膜および心外膜を描写する輪郭またはマスクを計算し、計算された輪郭またはマスクを使用して心筋の筋肉の病状または機能的特性を解剖学的に局所化する少なくとも１つのプロセッサとを含むと要約され得る。少なくとも１つのプロセッサは、右心室壁が左心室につく心室の挿入点を計算することができる。少なくとも１つのプロセッサは、右心室心内膜または右心室心外膜の一方または両方に左心室心外膜を描写する輪郭またはマスクの近接性に基づいて、心室の挿入点を計算することができる。
少なくとも１つのプロセッサは、左心室心外膜境界線が右心室心内膜境界線または右心室心外膜境界線の一方または両方から分かれる心臓画像内の２つの点に基づいて、１つまたは複数の２次元心臓画像内で心室の挿入点を計算することができる。少なくとも１つのプロセッサは、左心室の獲得された長軸ビュー間の交点および左心室心外膜の描写に基づいて、心室の挿入点を計算することができる。少なくとも１つのプロセッサは、左心室心外膜輪郭と左心臓３チャンバ長軸平面との間の交点に基づいて、少なくとも１つの心室の挿入点を計算することができる。少なくとも１つのプロセッサは、左心室心外膜輪郭と左心臓４チャンバ長軸平面との間の交点に基づいて、少なくとも１つの心室の挿入点を計算することができる。少なくとも１つのプロセッサは、左心臓３チャンバ長軸平面と右心室心外膜輪郭または右心室心内膜の輪郭の一方または両方との間の交点に基づいて、少なくとも１つの心室の挿入点を計算することができる。少なくとも１つのプロセッサは、左心臓４チャンバ長軸平面と右心室心外膜輪郭または右心室心内膜の輪郭の一方または両方との間の交点に基づいて、少なくとも１つの心室の挿入点を計算することができる。
少なくとも１つのプロセッサは、ユーザが、心室の挿入点のうちの１つまたは複数のロケーションを手動で描写することを可能にすることができる。少なくとも１つのプロセッサは、輪郭と心室の挿入点の組み合わせを使用して、心筋の筋肉の病状または機能的特性の解剖学的ロケーションを、標準化されたフォーマットで提示することができる。標準化されたフォーマットは、心筋の筋肉の１６セグメントまたは１７セグメントモデルの一方または両方であることができる。心臓の医用画像法のデータは、機能的心臓病（functional cardiac）の画像、心筋遅延増強画像、または心筋灌流画像のうちの１つまたは複数であることができる。心臓の医用画像法のデータは、心臓病の磁気共鳴画像であることができる。
訓練されたＣＮＮモデルは、訓練されたＣＮＮモデルが推論のために使用されるそれらと同じタイプのアノテーション付与された心臓画像に対して訓練されていることができる。訓練されたＣＮＮモデルは、機能的心臓病の画像、心筋遅延増強画像、または心筋灌流画像のうちの１つまたは複数に対して訓練されていることができる。訓練されたＣＮＮモデルが訓練されていることができるデータは、心臓病の磁気共鳴画像であることができる。訓練されたＣＮＮモデルは、訓練されたＣＮＮモデルが推論のために使用されるそれらと異なるタイプのアノテーション付与された心臓病の画像に対して訓練されていることができる。訓練されたＣＮＮモデルは、機能的心臓病の画像、心筋遅延増強画像、または心筋灌流画像のうちの１つまたは複数に対して訓練されていることができる。訓練されたＣＮＮモデルが訓練されていることができるデータは、心臓病の磁気共鳴画像であることができる。
少なくとも１つのプロセッサは、ＣＮＮモデルが推論のために使用されるそれらと同じタイプのデータに対して訓練されたＣＮＮモデルを微調節することができる。訓練されたＣＮＮモデルを微調節するために、少なくとも１つのプロセッサは、訓練されたＣＮＮモデルの層のいくつかまたはすべてを再訓練することができる。少なくとも１つのプロセッサは、心臓の心内膜および心外膜を描写する輪郭またはマスクに後処理を適用して、心筋層として識別される心臓の領域内に存在する非心筋組織の量を最小にすることができる。輪郭またはマスクを後処理するために、少なくとも１つのプロセッサは、心筋層として識別される心臓の領域に形態学的演算を適用して、面積を減少させることができる。形態学的演算は、びらん（ｅｒｏｓｉｏｎ）または拡張のうちの１つまたは複数を含むことができる。輪郭またはマスクを後処理するために、少なくとも１つのプロセッサは、訓練されたＣＮＮモデルが、ピクセルが心筋層の一部である閾値を上回る確率を表現する心筋層のピクセルのみを識別するように、訓練されたＣＮＮモデルによって予測される確率マップに適用される閾値を修正することができる。確率マップ値がクラスラベルに変換され得る閾値は、０．５よりも大きい。輪郭またはマスクを後処理するために、少なくとも１つのプロセッサは、心筋層を描写する輪郭の頂点を、心臓の心室の中心の方へまたはこれから離れるようにシフトして、心筋層の識別された面積を減少させることができる。心筋の筋肉の病状または機能的特性は、心筋瘢痕、心筋梗塞、冠動脈狭窄、または灌流特性のうちの１つまたは複数を含むことができる。
図面において、同一の参照番号は、類似の要素または作動を識別する。図面内の要素のサイズおよび相対的位置は、必ずしも一定の縮尺で描画されているとは限らない。たとえば、さまざまな要素の形状および角度は、必ずしも一定の縮尺で描画されているとは限らず、これらの要素のうちのいくつかは、図面の読みやすさを改善するように、恣意的に拡大および位置決めされることができる。さらに、描画される要素の特定の形状は、必ずしも、特定の要素の実際の形状に関する情報を伝えることが意図されるとは限らず、単に、図面内の認識の容易さのために選択されていることができる。
詳細な短軸（ＳＡＸ）の積重ねの単一のタイムポイントにおけるいくつかのＬＶ心内膜セグメンテーションの一例である。左から右へ、上から下へ、スライスは、左心室の心尖から左心室の基部に進む。
スネークアルゴリズムを使用して生成されたＬＶの心内膜の輪郭についての一例である。
左心室心内膜の内部の心室、心筋層、および乳頭筋を示す２つのＳＳＦＰ画像である。左側のＳＳＦＰ画像は拡張末期を示し、右側のＳＳＦＰ画像は収縮末期を示す。
ＳＡＸ平面の基部スライス上の心室と心房とを区別する課題を示す２つの画像である。
ＬａｎｄＭａｒｋＤｅｔｅｃｔにおいて使用されるＵ−Ｎｅｔネットワークアーキテクチャの図である。
１つの例示される実装に応じた、プーリング層あたり２つの畳み込み層と４つのプーリング／アップサンプリング動作とを有するＤｅｅｐ Ｖｅｎｔｒｉｃｌｅネットワークアーキテクチャの図である。
１つの例示される実装に応じた、ＳＳＦＰデータを用いて訓練するためのＬＭＤＢ（ｌｉｇｈｔｎｉｎｇ ｍｅｍｏｒｙ−ｍａｐｐｅｄ ｄａｔａｂａｓｅ）の作成のフロー図である。
１つの例示される実装に応じた、畳み込みニューラルネットワークモデルを訓練するためのパイプライン処理のフロー図である。
１つの例示される実装に応じた、ＳＳＦＰデータのための推論パイプラインの処理を図示するフロー図である。
１つのタイムポイントおよびスライスインデックスにおけるＬＶ ｅｎｄｏに対するアプリケーション内ＳＳＦＰ推論の結果のスクリーンショットである。
１つのタイムポイントおよびスライスインデックスにおけるＬＶ ｅｐｉに対するアプリケーション内ＳＳＦＰ推論の結果のスクリーンショットである。
１つのタイムポイントおよびスライスインデックスにおけるＲＶ ｅｎｄｏに対するアプリケーション内ＳＳＦＰ推論の結果のスクリーンショットである。
自動的にセグメンテーションされた心室から計算されたアプリケーション内ＳＳＦＰパラメーターのスクリーンショットである。
ＳＡＸの積重ねの平面を指し示す平行線を有する２チャンバビュー、３チャンバビュー、および４チャンバビューを描くスクリーンショットである。
右心室に対して平行でない一連のセグメンテーションの平面を示す、２チャンバビュー、３チャンバビュー、および４チャンバビューを左パネルに描くスクリーンショットである。右パネルは、２チャンバビュー、３チャンバビュー、および４チャンバビューにおいて見られるハイライトされた平面に沿って再構成画像を描く。
ＲＶをセグメンテーションすることを例示するスクリーンショットである。輪郭内の点（右パネル）は、スプラインを定義し、データベースに記憶されたものである。輪郭は、ＬＡＸビュー（左パネル）へと投影される。
図１６内とＲＶの同じスライスをセグメンテーションすることを例示するスクリーンショットであるが、２チャンバビュー、３チャンバビュー、および４チャンバビューの各々は、奥行き効果を用いてセグメンテーションの平面を強調するようにわずかに回転されている。
１つの例示される実装に応じた、４Ｄ Ｆｌｏｗデータを用いて訓練するためのＬＭＤＢ（ｌｉｇｈｔｎｉｎｇ ｍｅｍｏｒｙ−ｍａｐｐｅｄ ｄａｔａｂａｓｅ）の作成を例示する概略図である。
ＳＡＸ平面、利用可能なラベル、および画像データから生成された、多断面再構成（左上）、ＲＶ ｅｎｄｏマスク（右上）、ＬＶ ｅｐｉマスク（左下）、およびＬＶ ｅｎｄｏマスク（右下）を示す図である。これらのマスクは、１つの配列に記憶されることができ、画像とともに、単一の一意的なキーの下にＬＭＤＢに記憶されることができる。
ＬＶ ｅｐｉマスクが欠損していることを除き、図１９の図に類似した図である。
１つの例示される実装に応じた、４Ｄ Ｆｌｏｗに対する推論パイプラインを例示するフロー図である。
４Ｄ ＦｌｏｗスタディのＬＶ ｅｎｄｏに対するアプリケーション内推論を描くスクリーンショットである。
４Ｄ ＦｌｏｗスタディのＬＶ ｅｐｉに対するアプリケーション内推論を描くスクリーンショットである。
４Ｄ ＦｌｏｗスタディのＲＶ ｅｎｄｏに対するアプリケーション内推論を描くスクリーンショットである。
１つの例示される実装に応じた、ウェブアプリケーションを使用してＬＶＡ（左心室心尖）を配置することを例示するスクリーンショットである。
１つの例示される実装に応じた、ウェブアプリケーションを使用してＲＶＡ（右心室心尖）を配置することを例示するスクリーンショットである。
１つの例示される実装に応じた、ウェブアプリケーションを使用してＭＶ（僧帽弁）を配置することを例示するスクリーンショットである。
１つの例示される実装に応じた、訓練データベースの作成に対する処理を図示するフロー図である。
画像上で評定されたガウシアンとともに画像上のランドマークの位置の符号化を図示する図である。
１つの例示される実装に応じた、画像およびランドマークに対する前処理のパイプラインのフロー図である。
１人の患者に対する前処理された入力画像および符号化された僧帽弁のランドマークの一例を描く複数のスクリーンショットである。上から下、左から右に、矢状ビュー、軸ビュー、および冠状ビューを示す。
１人の患者に対する前処理された入力画像および符号化された三尖弁のランドマークの一例を描く複数のスクリーンショットである。上から下、左から右に、矢状ビュー、軸ビュー、および冠状ビューを示す。
ネットワーク出力からのランドマークの位置の予測を図示する図である。
解剖学的画像の上にかぶせられたフロー情報を示す例示的な画像である。
１つの制限でない例示される実装に応じた、本明細書において説明される機能のうちの１つまたは複数を実装するのに使用される例示的なプロセッサベースのデバイスのブロック図である。
収縮用経路よりも小さい膨張用経路を利用するスキップ接続を有する全層畳み込みエンコーダ−デコーダアーキテクチャの図である。
ＥＤ（左パネル）およびＥＳ（右パネル）におけるＬＶ（左心室） Ｅｎｄｏ、ＬＶ Ｅｐｉ、およびＲＶ（右心室） Ｅｎｄｏの各々に対するＦａｓｔＶｅｎｔｒｉｃｌｅとＤｅｅｐ Ｖｅｎｔｒｉｃｌｅとの間のＲＡＶＥ（相対的な絶対値の容積の誤差）を比較する箱ひげ図である。
ラベルマップ（右、赤色を使ってＲＶ ｅｎｄｏ、水色を使ってＬＶ ｅｎｄｏ、青色を使ってＬＶ ｅｐｉ）に合うＤｅｅｐ ＶｅｎｔｒｉｃｌｅおよびＦａｓｔＶｅｎｔｒｉｃｌｅ（中央）に対する勾配降下を使用して最適化されたランダム入力（左）を示す図である。
Ｄｅｅｐ ＶｅｎｔｒｉｃｌｅとＦａｓｔＶｅｎｔｒｉｃｌｅとの両方に対する低いＲＡＶＥを用いたスタディに対して異なるスライスおよびタイムポイントのネットワーク予測の例を示す図である。
心臓ＭＲＩ上に見られる心臓解剖学的構造の関連のある構成要素を示す画像である。
内部に乳頭筋を含む心内膜の輪郭を明確に示す画像である。
内部から乳頭筋を除外する血液貯留または心内膜の輪郭を明確に示す画像である。
乳頭筋および肉柱筋を描写するための処理の一実装のフロー図である。
乳頭筋および肉柱筋の強度の閾値計算についての一実装のフロー図である。
血液貯留と心筋層との間のピクセル分布の重なりについての計算の図示である。
心筋欠陥を識別および表示する処理の一実装のフロー図である。
心室の挿入点のロケーションを図示する画像である。
以下の説明では、さまざまな開示された実装形態の徹底的な理解を提供するために特定の具体的な詳細が記載されている。しかしながら、当業者は、実装形態は、これらの具体的な詳細のうちの１つまたは複数なしで実施されてもよいし、他の方法、構成要素、材料などを用いて実施されてもよいことを認識するであろう。他の事例では、コンピュータシステム、サーバコンピュータ、および／または通信ネットワークと関連づけられた既知の構造は、実装形態の説明を不必要に不明瞭にすることを回避するために、詳細に示されたり説明されたりしていない。
文脈が別段に必要としない限り、続く明細書および特許請求の範囲の全体を通じて、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という単語は、「含む（ｉｎｃｌｕｄｉｎｇ）」と同義であり、包括的または無制限である（すなわち、追加の記載されていない要素または方法の作動を除外しない）。
本明細書全体を通じた「一実装形態」または「実装形態」への言及は、実装形態に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの実装形態に含まれることを意味する。したがって、本明細書全体を通してさまざまな箇所における「一実装形態では」または「実装形態では」という句の出現は、必ずしも同じ実装形態をすべて参照するとは限らない。そのうえ、特定の特徴、構造、または特性は、１つまたは複数の実装形態において、任意の適切な仕方で組み合わされてよい。
本明細書および添付の特許請求の範囲において使用されるとき、「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明らかに示さない限り、複数の支持物を含む。「または」という用語は、一般に、文脈が別段に明らかに示さない限り、「および／または」を含むその意味で用いられていることも留意されるべきである。
本明細書において提供される本開示の見出しおよび要約書は、便宜のためにすぎず、実装形態の範囲または意味を解釈しない。
ＳＳＦＰ自動化された心室セグメンテーション
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ
図６は、本明細書においてＤｅｅｐ Ｖｅｎｔｒｉｃｌｅと呼ばれ、心臓ＳＳＦＰのスタディ上での心室セグメンテーションに利用される、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ６００を示す。ネットワーク６００は、２つの経路を含む。左側は、畳み込み層６０６とプーリング層６０８とを含む収縮用経路６０２であり、右側は、アップサンプリング層または転置畳み込み層６１０と畳み込み層６０６とを含む膨張用経路６０４である。
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ
図６は、本明細書においてＤｅｅｐ Ｖｅｎｔｒｉｃｌｅと呼ばれ、心臓ＳＳＦＰのスタディ上での心室セグメンテーションに利用される、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ６００を示す。ネットワーク６００は、２つの経路を含む。左側は、畳み込み層６０６とプーリング層６０８とを含む収縮用経路６０２であり、右側は、アップサンプリング層または転置畳み込み層６１０と畳み込み層６０６とを含む膨張用経路６０４である。
ネットワーク６００内の自由パラメーターの数は、モデルのエントロピー容量を決定し、このエントロピー容量は、本質的に、モデルが覚えていることができる情報の量である。これらの自由パラメーターのかなりの割合は、ネットワーク６００内の各層の畳み込みカーネル内にある。ネットワーク６００は、あらゆるプーリング層６０８の後、特徴マップの数が２倍になり、空間分解能が半分にされるように構成される。あらゆるアップサンプリング層６１０の後、特徴マップの数は半分にされ、空間分解能は２倍にされる。このスキームでは、ネットワーク６００全体の各層に対する特徴マップの数は、第１の層内の数（たとえば、１から２０００の間の特徴マップ）によって十分に説明可能である。少なくともいくつかの実装形態では、第１の層内の特徴マップの数は１２８である。追加の特徴マップを使用することで、増加された算定複雑度、メモリ使用率、および訓練されたモデルディスク使用率の中程度の費用を伴って、モデル正確さを改善することが発見された。初期特徴マップの数に対する他の値は、訓練データの量および利用可能な算定リソースとモデル性能との間の所望のトレードオフに応じて、十分であることもあるだろう。
少なくともいくつかの実装形態では、ネットワーク６００は、あらゆるプーリング層６０８の前に２つの畳み込み層６０６を含み、サイズ３×３の畳み込みカーネルと、ストライド１とを有する。これらのパラメーター（層の数、畳み込みカーネルサイズ、畳み込みストライド）の異なる組み合わせも使用されてよい。ハイパーパラメーター探索に基づいて、結果は、この数字に対して中程度に感度が高いにすぎないが、４つのプーリングおよびアップサンプリング動作が、検査の対象であるデータに対して最も有利に作用することが発見された。
１×１よりも大きい畳み込みは、（ｉｍａｇｅ＿ｓｉｚｅ−ｃｏｎｖ＿ｓｉｚｅ＋１）畳み込みのみが所与の画像全体に合うことができるので、入力画像にパディングを適用することなしに（このパディングの欠如は、「有効（ｖａｌｉｄ）」パディングと呼ばれる）、出力特徴マップのサイズを自然に減少させる。有効パディングを使用すると、出力セグメンテーションマップは、５７２×５７２ピクセルである入力画像に対して３８８×３８８ピクセルにすぎない。したがって、フル画像をセグメンテーションすることは、タイル張り手法を必要とし、元の画像の境界のセグメンテーションは可能でない。本開示の少なくともいくつかの実装形態によるネットワーク６００では、幅のゼロパディング（ｃｏｎｖ＿ｓｉｚｅ−２）は、セグメンテーションマップが常に入力と同じ分解能である（「同じ」パディングとして知られる）ように、あらゆる畳み込みの前に利用される。有効パディングも使用されてよい。
プーリング動作を用いて特徴マップをダウンサンプリングすることは、元の画像の空間内により大きな視野を有する畳み込みによってより高いレベルの抽象的な特徴を学習するために重要なステップであることができる。少なくともいくつかの実装形態では、ネットワーク６００は、ストライド２を有する２×２最大プーリング動作を利用して、畳み込みのあらゆるセットの後で画像をダウンサンプリングする。学習されたダウンサンプリング、すなわち、ストライド２を有する２×２畳み込みを用いて入力ボリュームを畳み込むことも使用されてよいが、そのようなことは、算定複雑度を増加させることができる。一般に、プーリングサイズとストライドの異なる組み合わせも使用されてよい。
活性化ボリュームを元の分解能にアップサンプリングすることは、ピクセル単位セグメンテーションのために、全層畳み込みネットワークにおいて必要である。ネットワーク内の活性化ボリュームの分解能を増加させるために、いくつかのシステムは、アップサンプリング動作、次いで２×２畳み込み、次いでスキップ接続を通しての対応する収縮用層からの特徴マップの連結、最後に２つの３×３畳み込みを使用することができる。少なくともいくつかの実装形態では、ネットワーク６００は、アップサンプリングおよび２×２畳み込みを、アップサンプリングと学習されたカーネルとを用いた補間を実行する単一の転置畳み込み層６１０に置き換え、モデルが細部を解像する（ｒｅｓｏｌｖｅ）能力を改善する。その動作は、図６において収縮用経路６０２から膨張用経路６０４への太い矢印によって示されるように、スキップ接続連結とともにたどられる。この連結に続いて、２つの３×３畳み込み層が適用される。
少なくともいくつかの実装形態では、正規化線形ユニット（ＲｅＬＵ）が、畳み込みに続くすべての活性化に使用される。ＰＲｅＬＵ（パラメーターＲｅＬＵ）およびＥＬＵ（指数線形ユニット）を含む他の非線形活性化関数も使用されてよい。
モデルハイパーパラメーター
モデルハイパーパラメーターは、訓練中に読み取られる少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体（たとえば、構成ファイル）内に記憶されることができる。モデルを説明するパラメーターは、以下を含むことができる。
・ｎｕｍ＿ｐｏｏｌｉｎｇ＿ｌａｙｅｒｓ：プーリング（およびアップサンプリング）層の総数、
・ｐｏｏｌｉｎｇ＿ｔｙｐｅ：使用するプーリング動作のタイプ（たとえば、ｍａｘ）、
・ｎｕｍ＿ｉｎｉｔ＿ｆｉｌｔｅｒｓ：第１の層のためのフィルタ（畳み込みカーネル）の数、
・ｎｕｍ＿ｃｏｎｖ＿ｌａｙｅｒｓ：各プーリング動作間の畳み込み層の数、
・ｃｏｎｖ＿ｋｅｒｎｅｌ＿ｓｉｚｅ：ピクセル単位の、畳み込みカーネルのエッジ長、
・ｄｒｏｐｏｕｔ＿ｐｒｏｂ：特定のノードの活性化が、ネットワークを通るバッチの所与の順方向／逆方向パス上でゼロに設定される確率、
・ｂｏｒｄｅｒ＿ｍｏｄｅ：畳み込みの前に入力特徴マップをゼロパディングする方法、
・ａｃｔｉｖａｔｉｏｎ：各畳み込みの後で使用する非線形活性化関数、
・ｗｅｉｇｈｔ＿ｉｎｉｔ：ネットワーク内の重みを初期化するための手段、
・ｂａｔｃｈ＿ｎｏｒｍ：ネットワークのダウンサンプリング／収縮用部分内の各非線形性の後にバッチ正規化を利用するべきかどうか、
・ｂａｔｃｈ＿ｎｏｒｍ＿ｍｏｍｅｎｔｕｍ：特徴ごとの平均および標準偏差のバッチ正規化算定における運動量、
・ｄｏｗｎ＿ｔｒａｉｎａｂｌｅ：新しいデータを見たとき、ネットワークのダウンサンプリング部分が学習することを可能にするべきかどうか、
・ｂｒｉｄｇｅ＿ｔｒａｉｎａｂｌｅ：ブリッジ畳み込みが学習することを可能にすべきかどうか、
・ｕｐ＿ｔｒａｉｎａｂｌｅ：ネットワークのアップサンプリング部分が学習することを可能にするべきかどうか、および
・ｏｕｔ＿ｔｒａｉｎａｂｌｅ：ピクセル単位確率を生じさせる最終畳み込みが学習することを可能にするべきかどうか。
モデルハイパーパラメーターは、訓練中に読み取られる少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体（たとえば、構成ファイル）内に記憶されることができる。モデルを説明するパラメーターは、以下を含むことができる。
・ｎｕｍ＿ｐｏｏｌｉｎｇ＿ｌａｙｅｒｓ：プーリング（およびアップサンプリング）層の総数、
・ｐｏｏｌｉｎｇ＿ｔｙｐｅ：使用するプーリング動作のタイプ（たとえば、ｍａｘ）、
・ｎｕｍ＿ｉｎｉｔ＿ｆｉｌｔｅｒｓ：第１の層のためのフィルタ（畳み込みカーネル）の数、
・ｎｕｍ＿ｃｏｎｖ＿ｌａｙｅｒｓ：各プーリング動作間の畳み込み層の数、
・ｃｏｎｖ＿ｋｅｒｎｅｌ＿ｓｉｚｅ：ピクセル単位の、畳み込みカーネルのエッジ長、
・ｄｒｏｐｏｕｔ＿ｐｒｏｂ：特定のノードの活性化が、ネットワークを通るバッチの所与の順方向／逆方向パス上でゼロに設定される確率、
・ｂｏｒｄｅｒ＿ｍｏｄｅ：畳み込みの前に入力特徴マップをゼロパディングする方法、
・ａｃｔｉｖａｔｉｏｎ：各畳み込みの後で使用する非線形活性化関数、
・ｗｅｉｇｈｔ＿ｉｎｉｔ：ネットワーク内の重みを初期化するための手段、
・ｂａｔｃｈ＿ｎｏｒｍ：ネットワークのダウンサンプリング／収縮用部分内の各非線形性の後にバッチ正規化を利用するべきかどうか、
・ｂａｔｃｈ＿ｎｏｒｍ＿ｍｏｍｅｎｔｕｍ：特徴ごとの平均および標準偏差のバッチ正規化算定における運動量、
・ｄｏｗｎ＿ｔｒａｉｎａｂｌｅ：新しいデータを見たとき、ネットワークのダウンサンプリング部分が学習することを可能にするべきかどうか、
・ｂｒｉｄｇｅ＿ｔｒａｉｎａｂｌｅ：ブリッジ畳み込みが学習することを可能にすべきかどうか、
・ｕｐ＿ｔｒａｉｎａｂｌｅ：ネットワークのアップサンプリング部分が学習することを可能にするべきかどうか、および
・ｏｕｔ＿ｔｒａｉｎａｂｌｅ：ピクセル単位確率を生じさせる最終畳み込みが学習することを可能にするべきかどうか。
使用する訓練データを説明するパラメーターは、以下を含むことができる。
・ｃｒｏｐ＿ｆｒａｃ：元のものに対するＬＭＤＢにおける画像の割合サイズ、
・ｈｅｉｇｈｔ：ピクセル単位の、画像の高さ、および
・ｗｉｄｔｈ：ピクセル単位の、画像の幅。
・ｃｒｏｐ＿ｆｒａｃ：元のものに対するＬＭＤＢにおける画像の割合サイズ、
・ｈｅｉｇｈｔ：ピクセル単位の、画像の高さ、および
・ｗｉｄｔｈ：ピクセル単位の、画像の幅。
訓練中に使用するデータ補強を説明するパラメーターは、以下を含むことができる。
・ｈｏｒｉｚｏｎｔａｌ＿ｆｌｉｐ：水平方向に入力／ラベルペアをランダムにフリップすべきかどうか、
・ｖｅｒｔｉｃａｌ＿ｆｌｉｐ：垂直方向に入力／ラベルペアをランダムにフリップすべきかどうか、
・ｓｈｅａｒ＿ａｍｏｕｎｔ：画像／ラベルペアをせん断する正／負の制限値、
・ｓｈｉｆｔ＿ａｍｏｕｎｔ：画像／ラベルペアをせん断する最大割合値、
・ｚｏｏｍ＿ａｍｏｕｎｔ：画像／ラベルペア上でズームインする最大割合値、
・ｒｏｔａｔｉｏｎ＿ａｍｏｕｎｔ：画像／ラベルペアを回転させる正／負の制限値、
・ｚｏｏｍ＿ｗａｒｐｉｎｇ：ズーミングとワーピングを一緒に利用するべきかどうか、
・ｂｒｉｇｈｔｎｅｓｓ：画像輝度を変更する正／負の制限値、
・ｃｏｎｔｒａｓｔ：画像コントラストを変更する正／負の制限値、
・ａｌｐｈａ、ｂｅｔａ：弾性変形の強さを説明する第１のパラメーターおよび第２のパラメーター。
・ｈｏｒｉｚｏｎｔａｌ＿ｆｌｉｐ：水平方向に入力／ラベルペアをランダムにフリップすべきかどうか、
・ｖｅｒｔｉｃａｌ＿ｆｌｉｐ：垂直方向に入力／ラベルペアをランダムにフリップすべきかどうか、
・ｓｈｅａｒ＿ａｍｏｕｎｔ：画像／ラベルペアをせん断する正／負の制限値、
・ｓｈｉｆｔ＿ａｍｏｕｎｔ：画像／ラベルペアをせん断する最大割合値、
・ｚｏｏｍ＿ａｍｏｕｎｔ：画像／ラベルペア上でズームインする最大割合値、
・ｒｏｔａｔｉｏｎ＿ａｍｏｕｎｔ：画像／ラベルペアを回転させる正／負の制限値、
・ｚｏｏｍ＿ｗａｒｐｉｎｇ：ズーミングとワーピングを一緒に利用するべきかどうか、
・ｂｒｉｇｈｔｎｅｓｓ：画像輝度を変更する正／負の制限値、
・ｃｏｎｔｒａｓｔ：画像コントラストを変更する正／負の制限値、
・ａｌｐｈａ、ｂｅｔａ：弾性変形の強さを説明する第１のパラメーターおよび第２のパラメーター。
訓練を説明するパラメーターは、以下を含む。
・ｂａｔｃｈ＿ｓｉｚｅ：各順方向／逆方向パス上のネットワークを示す例の数
・ｍａｘ＿ｅｐｏｃｈ：データを通る反復の最大数、
・ｏｐｔｉｍｉｚｅｒ＿ｎａｍｅ：使用するオプティマイザ関数の名前、
・ｏｐｔｉｍｉｚｅｒ＿ｌｒ：学習率の値、
・ｏｂｊｅｃｔｉｖｅ：使用する目的関数、
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ：いつモデル訓練が訓練を停止すべきかを決定するために監視するパラメーター、および
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｐａｔｉｅｎｃｅ：モデル訓練を停止する前にｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ値が改善されなかった後に待機するエポックの数。
・ｂａｔｃｈ＿ｓｉｚｅ：各順方向／逆方向パス上のネットワークを示す例の数
・ｍａｘ＿ｅｐｏｃｈ：データを通る反復の最大数、
・ｏｐｔｉｍｉｚｅｒ＿ｎａｍｅ：使用するオプティマイザ関数の名前、
・ｏｐｔｉｍｉｚｅｒ＿ｌｒ：学習率の値、
・ｏｂｊｅｃｔｉｖｅ：使用する目的関数、
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ：いつモデル訓練が訓練を停止すべきかを決定するために監視するパラメーター、および
・ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｐａｔｉｅｎｃｅ：モデル訓練を停止する前にｅａｒｌｙ＿ｓｔｏｐｐｉｎｇ＿ｍｏｎｉｔｏｒ値が改善されなかった後に待機するエポックの数。
最適なモデルを選ぶために、これらのハイパーパラメーターに対するランダム探索が実行されてよく、最も高い検証の正確さを有するモデルが選ばれてよい。
訓練データベース
少なくともいくつかの実装形態では、訓練のために前処理された画像／セグメンテーションマスクペアを記憶するライトニングメモリマップデータベース（ＬＭＤＢ）が使用されることができる。このデータベースアーキテクチャは、訓練データを記憶する他の手段に勝る多くの利点を有する。そのような利点は、キーのマッピングがスピードに関して辞書式（ｌｅｘｉｃｏｇｒａｐｈｉｃａｌ）であること、画像／セグメンテーションマスクペアが、訓練のために必要とされるフォーマットで記憶されるので、それらが、訓練時間において前処理をさらに必要としないこと、および画像／セグメンテーションマスクペアを読み取ることは、算定的に安価なトランザクションであること、を含む。
少なくともいくつかの実装形態では、訓練のために前処理された画像／セグメンテーションマスクペアを記憶するライトニングメモリマップデータベース（ＬＭＤＢ）が使用されることができる。このデータベースアーキテクチャは、訓練データを記憶する他の手段に勝る多くの利点を有する。そのような利点は、キーのマッピングがスピードに関して辞書式（ｌｅｘｉｃｏｇｒａｐｈｉｃａｌ）であること、画像／セグメンテーションマスクペアが、訓練のために必要とされるフォーマットで記憶されるので、それらが、訓練時間において前処理をさらに必要としないこと、および画像／セグメンテーションマスクペアを読み取ることは、算定的に安価なトランザクションであること、を含む。
訓練データは、一般に、ディスク上の名前付きファイル、および各画像に対するグラウンドトゥルースデータベース（ground truth database）からのマスクのリアルタイム生成を含む、さまざまな他のフォーマットで記憶されることができる。これらの方法は、同じ結果を達成し得るが、それらは、訓練プロセスを減速させる可能性がある。
新しいＬＭＤＢは、モデルを訓練するために使用されることになる入力／ターゲットのあらゆる一意的なセットに対して作成されることができる。これは、画像前処理のための訓練中の減速がないことを保証する。
訓練中の欠損データの処置
セル判別タスクのための２つのクラス、すなわち前景および背景のみに関心をもっていた以前のモデルとは異なり、本明細書において開示されるＳＳＦＰモデルは、４つのクラス、すなわち、背景、ＬＶ心内膜、ＬＶ心外膜、およびＲＶ心内膜を区別しようと試みる。これを成し遂げるために、ネットワーク出力は、３つの確率マップ、すなわち各非背景クラスに対して１つの確率マップを含むことができる。訓練中、３つのクラスの各々に対するグラウンドトゥルースバイナリマスクが、ピクセルデータとともにネットワークに提供される。ネットワーク損失は、３つのクラスにわたる損失の総計として決定されることができる。３つのグラウンドトゥルースマスクのいずれかが画像に対して欠損している（グラウンドトゥルースが空のマスクであることとは対照的に、データがないことを意味する）場合、そのマスクは、損失を計算するときに無視されてよい。
セル判別タスクのための２つのクラス、すなわち前景および背景のみに関心をもっていた以前のモデルとは異なり、本明細書において開示されるＳＳＦＰモデルは、４つのクラス、すなわち、背景、ＬＶ心内膜、ＬＶ心外膜、およびＲＶ心内膜を区別しようと試みる。これを成し遂げるために、ネットワーク出力は、３つの確率マップ、すなわち各非背景クラスに対して１つの確率マップを含むことができる。訓練中、３つのクラスの各々に対するグラウンドトゥルースバイナリマスクが、ピクセルデータとともにネットワークに提供される。ネットワーク損失は、３つのクラスにわたる損失の総計として決定されることができる。３つのグラウンドトゥルースマスクのいずれかが画像に対して欠損している（グラウンドトゥルースが空のマスクであることとは対照的に、データがないことを意味する）場合、そのマスクは、損失を計算するときに無視されてよい。
欠損グラウンドトゥルースデータは、訓練プロセス中に明確に計上される。たとえば、ＬＶ心外膜およびＲＶ心内膜の輪郭ロケーションが知られていなくても、ネットワークが、ＬＶ心内膜の輪郭が画定された画像に対して訓練されることができる。欠損データを計上できなかった、より基本的なアーキテクチャは、３つのタイプの輪郭すべてを画定させた訓練画像のサブセット（たとえば、２０パーセント）のみを訓練可能であった。このようにして、訓練データボリュームを減少させることは、著しく減少された正確さという結果になるであろう。したがって、欠損データを計上するように損失関数を明確に修正することによって、フル訓練データボリュームが使用され、ネットワークが、よりロバストな特徴を学習することを可能にする。
訓練データベース作成
図７は、ＳＳＦＰ ＬＭＤＢの作成のためのプロセス７００を示す。７０２では、輪郭情報が、ＳＳＦＰグラウンドトゥルースデータベース７０４から抽出される。これらの輪郭は、特定のＳＳＦＰスライスロケーションおよびタイムポイントと関連づけられて、グラウンドトゥルースデータベース７０４に輪郭のＸの位置およびＹの位置についての辞書として記憶される。７０６では、対応するＳＳＦＰ ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像７０８からのピクセルデータが、この情報から作成されたブール型マスクとペアとされる。７１０では、システムは、画像を正規化し、画像／マスクを切り取り、画像／マスクをサイズ変更することによって、画像およびマスクを前処理する。少なくともいくつかの実装形態では、ＭＲＩは、それらがゼロの平均を有し、画像のバッチの第１パーセンタイルおよび第９９パーセンタイルが−０．５および０．５である、すなわち、それらの「使用可能範囲」が−０．５から０．５の間であるように正規化される。画像は、心室輪郭が画像のより大きなパーセンテージを占めるように、切り取られ、サイズ変更されることができる。これは、より多くの総前景クラスピクセルという結果になり、より少ない算定パワーのみで、心室の細部（特にコーナー）を解像することをより簡単にし、モデル収束を助ける。
図７は、ＳＳＦＰ ＬＭＤＢの作成のためのプロセス７００を示す。７０２では、輪郭情報が、ＳＳＦＰグラウンドトゥルースデータベース７０４から抽出される。これらの輪郭は、特定のＳＳＦＰスライスロケーションおよびタイムポイントと関連づけられて、グラウンドトゥルースデータベース７０４に輪郭のＸの位置およびＹの位置についての辞書として記憶される。７０６では、対応するＳＳＦＰ ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像７０８からのピクセルデータが、この情報から作成されたブール型マスクとペアとされる。７１０では、システムは、画像を正規化し、画像／マスクを切り取り、画像／マスクをサイズ変更することによって、画像およびマスクを前処理する。少なくともいくつかの実装形態では、ＭＲＩは、それらがゼロの平均を有し、画像のバッチの第１パーセンタイルおよび第９９パーセンタイルが−０．５および０．５である、すなわち、それらの「使用可能範囲」が−０．５から０．５の間であるように正規化される。画像は、心室輪郭が画像のより大きなパーセンテージを占めるように、切り取られ、サイズ変更されることができる。これは、より多くの総前景クラスピクセルという結果になり、より少ない算定パワーのみで、心室の細部（特にコーナー）を解像することをより簡単にし、モデル収束を助ける。
７１２では、ＳＳＦＰ ＬＭＤＢのための一意的なキーが、一連のインスタンスＵＩＤおよびＳＯＰインスタンスＵＩＤの組み合わせであるように定義される。７１４では、タイムポイント、スライスインデックス、およびＬＭＤＢキーを含む、画像およびマスクメタデータが、データフレームに記憶される。７１６では、正規化され、切り取られ、サイズ変更された画像と、切り取られ、サイズ変更されたマスクが、各キーに対してＬＭＤＢに記憶される。
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ訓練
図８は、モデル訓練を図示するプロセス８００を示す。少なくともいくつかの実装形態では、ＴｅｎｓｏｒＦｌｏｗ上に構築されたオープンソースラッパーであるＫｅｒａｓが、モデルを訓練するために使用されることができる。しかしながら、同等の結果は、生の（ｒａｗ）ＴｅｎｓｏｒＦｌｏｗ、Ｔｈｅａｎｏ、Ｃａｆｆｅ、Ｔｏｒｃｈ、ＭＸＮｅｔ、ＭＡＴＬＡＢ、またはテンソル数学用の他のライブラリを使用しても達成され得る。
図８は、モデル訓練を図示するプロセス８００を示す。少なくともいくつかの実装形態では、ＴｅｎｓｏｒＦｌｏｗ上に構築されたオープンソースラッパーであるＫｅｒａｓが、モデルを訓練するために使用されることができる。しかしながら、同等の結果は、生の（ｒａｗ）ＴｅｎｓｏｒＦｌｏｗ、Ｔｈｅａｎｏ、Ｃａｆｆｅ、Ｔｏｒｃｈ、ＭＸＮｅｔ、ＭＡＴＬＡＢ、またはテンソル数学用の他のライブラリを使用しても達成され得る。
少なくともいくつかの実装形態では、データセットは、訓練セット、検証セット、およびテストセットに分割され得る。訓練セットは、モデル勾配更新に使用され、検証セットは、（たとえば、早期停止のための）訓練中に「ホールドアウトされた」データ上でモデルを評定するために使用され、テストセットは、訓練プロセスでは、まったく使用されない。
８０２では、訓練が起動される。８０４では、画像およびマスクデータが、ＬＭＤＢ訓練セットから、一度に１つのバッチ読み出される。８０６では、少なくともいくつかの実装形態では、画像およびマスクが、上記で論じられたように、モデルハイパーパラメーターファイルに記憶された歪みハイパーパラメーターに従って歪められる。８０８では、バッチが、ネットワークを通して処理される。８１０では、損失／勾配が計算される。８１２では、重みが、指定されたオプティマイザおよびオプティマイザ学習率に従って、更新される。少なくともいくつかの実装形態では、損失が、ピクセルあたりのクロスエントロピー損失関数およびＡｄａｍ更新ルールを使用して計算されることができる。
８１４では、システムは、エポックが完了したかどうかを決定することができる。エポックが完了していない場合、プロセスは、作動８０４に戻り、訓練データの別のバッチを読み出す。８１６では、エポックが完了している場合、メトリックが、検証セットに対して計算される。そのようなメトリックは、たとえば、検証損失、検証正確さ、多数派クラスのみを予測するナイーブモデルに対する相対的正確さ、ｆｌスコア、精度、およびリコールを含むことができる。
８１８では、モデルが改善したかどうかを決定するために、検証損失が監視されることができる。８２０では、モデルが改善した場合、そのときのモデルの重みが保存されることができる。８２２では、早期停止カウンタがゼロに設定されることができ、８０４において、別のエポックのための訓練が始まり得る。検証正確さなどの、検証損失以外のメトリックも、評定モデル性能を指し示すために使用される場合がある。８２４では、エポックの後にモデルが改善しなかった場合、早期停止カウンタが１増分される。８２６では、カウンタがその限界に達していない場合、８０４において、訓練が別のエポックに対して始められる。８２８では、カウンタがその限界に達した場合、モデルを訓練することが停止される。この「早期停止」方法論は、過剰適合（overfitting）を防止するために使用されるが、たとえば、より小さいモデルを利用する、ドロップアウトまたはＬ２正則化のレベルを増加させるなどの、他の過剰適合防止方法が存在する。
どの点でも、モデルを訓練するときに使用されるテストセットからのデータはない。テストセットからのデータは、セグメンテーションの例を示すために使用されることができるが、この情報は、訓練に、またはモデルを互いに対してランク付けするために使用されない。
推論
推論は、新しいデータに関する予測のための訓練されたモデルを利用するプロセスである。少なくともいくつかの実装形態では、ウェブアプリケーション（または「ウェブアプリ」）が、推論に使用されることができる。図９は、新しいＳＳＦＰのスタディに対して予測がなされ得る例となるパイプラインまたはプロセス９００を表示する。９０２では、ユーザがウェブアプリケーション内でスタディをロードした後、ユーザは、（たとえば、「欠損輪郭を生成する」アイコンをクリックすることによって）推論サービスを起動することができ、これは、任意の欠損（まだ作成されてない）輪郭を自動的に生成する。そのような輪郭は、たとえば、ＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、またはＲＶ Ｅｎｄｏを含むことができる。少なくともいくつかの実装形態では、推論は、スタディがユーザによってアプリケーション内にロードされたとき、またはスタディがユーザによってサーバに最初にアップロードされたとき、のいずれかに、自動的に起動されることができる。推論がアップロード時間に実行されたとき、予測は、その時間に非一時的なプロセッサ読み取り可能な記録媒体に記憶されることができるが、ユーザがスタディを開くまで表示されない。
推論は、新しいデータに関する予測のための訓練されたモデルを利用するプロセスである。少なくともいくつかの実装形態では、ウェブアプリケーション（または「ウェブアプリ」）が、推論に使用されることができる。図９は、新しいＳＳＦＰのスタディに対して予測がなされ得る例となるパイプラインまたはプロセス９００を表示する。９０２では、ユーザがウェブアプリケーション内でスタディをロードした後、ユーザは、（たとえば、「欠損輪郭を生成する」アイコンをクリックすることによって）推論サービスを起動することができ、これは、任意の欠損（まだ作成されてない）輪郭を自動的に生成する。そのような輪郭は、たとえば、ＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、またはＲＶ Ｅｎｄｏを含むことができる。少なくともいくつかの実装形態では、推論は、スタディがユーザによってアプリケーション内にロードされたとき、またはスタディがユーザによってサーバに最初にアップロードされたとき、のいずれかに、自動的に起動されることができる。推論がアップロード時間に実行されたとき、予測は、その時間に非一時的なプロセッサ読み取り可能な記録媒体に記憶されることができるが、ユーザがスタディを開くまで表示されない。
推論サービスは、モデルをロードし、輪郭を生成し、それらをユーザのために表示することを担う。推論が９０２において起動された後、９０４では、画像が推論サーバに送信される。９０６では、推論サービスによって使用される生産モデルまたはネットワークは、推論サーバにロードされる。ネットワークは、ハイパーパラメーター探索中に訓練されたモデルのコーパスから先に選択されていてよい。ネットワークは、正確さ、メモリ使用率と、実行のスピードとの間のトレードオフに基づいて選ばれ得る。ユーザは、あるいは、ユーザ選好オプションを介して「高速」または「正確な」モデルとの間の選択肢を与えられてもよい。
９０８では、一度に画像の１つのバッチが、推論サーバによって処理される。９１０では、上記で論じられたように、画像が、訓練中利用された同じパラメーターを使用して、前処理される（たとえば、正規化される、切り取られる）。少なくともいくつかの実装形態では、推論時間歪みが適用され、平均推論の結果が、たとえば、各入力画像の１０の歪んだコピー上で得られる。この特徴は、輝度、コントラスト、方位などの小さい変動に対してロバストな推論の結果を作成する。
推論は、要求されたバッチ内でスライスロケーションおよびタイムポイントにおいて実行される。９１２では、ネットワークを通る順方向パスが算定される。所与の画像に対して、モデルは、順方向パス中に各ピクセルに対してクラスあたりの確率を生成し、これは、各クラスに対して１つの確率マップのセットという結果になり、値は０から１の範囲である。確率マップは、各ピクセルのクラスを、最も高いラベルマップ確率を有するクラスに設定することによって、単一のラベルマスクに変換される。
９１４では、システムは、後処理を実行することができる。たとえば、少なくともいくつかの実装形態では、ピクセルに対するすべての確率が０．５を下回る場合、そのピクセルに対するピクセルクラスは、背景に設定される。さらに、偽の予測ピクセルを除去するために、そのクラスに対する最も大きい接続された領域の一部でないラベルマップ内の任意のピクセルが、背景に変換されることができる。少なくともいくつかの実装形態では、偽のピクセルは、時間および空間において隣接するセグメンテーションマップを比較し、外れ値を除去することによって、除去されることができる。あるいは、たとえば、ＲＶが心臓の基部の近くで非凸状であるので、所与の心室は、単一のスライス内で２つの異なる接続された領域として時々出現するので、複数の接続された領域は許容されることができるが、小さい領域またはスライスロケーションおよび時間にわたるすべての検出された領域の重心から遠い領域が除去されることができる。
少なくともいくつかの実装形態では、１つまたは複数の物理的制約を満たす後処理が、９１４において実行されることができる。たとえば、後処理は、すべてのタイムポイントにおいて心筋層の容積が同じであることを保証することができる。これを達成するために、システムは、心内膜および心外膜確率マップを２値化するために使用される閾値を、それらを輪郭に変換する前に動的に調整することができる。閾値は、たとえば、非線形最小二乗を使用して、報告される心筋層の容積における不一致を最小にするように調整可能である。物理的制約の別の例として、後処理の作動は、ＲＶとＬＶが重ならないことを保証することができる。これを達成するために、システムは、任意の所与のピクセルが、最も高い推論確率を有するクラスである１つのクラスに属することのみを可能にすることができる。ユーザは、選択された制約の賦課を有効または無効にする構成オプションを有することができる。
９１６では、すべてのバッチが処理されているとは限らない場合、すべてのスライスロケーションおよびすべてのタイムポイントにおいて推論が実行されるまで、９０８において、新しいバッチが処理パイプラインに追加される。
少なくともいくつかの実装形態では、ラベルマスクが作成されると、ビューイング、ユーザ対話、およびデータベース記憶を容易にするために、マスクがスプライン輪郭に変換されることができる。第１のステップは、マスクの境界上のすべてのピクセルをマーキングすることによって、マスクを多角形に変換することである。次いで、この多角形は、非特許文献４に基づいて、コーナー検出アルゴリズムを使用して、スプラインのための制御点のセットに変換される。これらのマスクの１つからの典型的な多角形は、数百の頂点を有する。コーナー検出は、これを約１６のスプライン制御点のセットに減少させようと試みる。これは、ストレージ要件を減少させ、より滑らかに見えるセグメンテーションという結果になる。
９１８では、これらのスプラインは、データベースに記憶され、ウェブアプリケーションにおいてユーザに表示される。ユーザがスプラインを修正した場合、データベースは、修正されたスプラインで更新され得る。
少なくともいくつかの実装形態では、ボリュームが、与えられたタイムポイントにおけるすべての頂点から容積測定のメッシュを作成することによって計算される。頂点は、３Ｄボリュームのあらゆるスライス上で順序づけされる。メッシュを定義するために使用され頂点の円筒状グリッドが取得されるまで、輪郭内の各頂点に対して、各輪郭内の第１の頂点を接続する開いた３次スプライン、第２の頂点を接続する第２のスプラインなどが生成される。次いで、多角形メッシュの内部ボリュームが計算される。計算されたボリュームに基づいて、どのタイムポイントが収縮末期相および拡張末期相を表すかが、それぞれ最小容積および最大容積を有する時間に基づいて自律的に決定され、これらのタイムポイントは、ユーザのためにラベル付けされる。
図１０、図１１、および図１２はそれぞれ、単一のタイムポイントおよびスライスロケーションにおけるＬＶ Ｅｎｄｏ輪郭１００２、ＬＶ Ｅｐｉ輪郭１１０２、およびＲＶ Ｅｎｄｏ輪郭１２０２に関するアプリケーション内推論の結果の例となる画像１０００、１１００、および１２００を示す。
輪郭（たとえば、輪郭１００２、１１０２、および１２０２）がユーザに表示されると同時に、システムは、ＥＤおよびＥＳにおける心室ボリュームを計算し、複数の算定された測定値と同様に、ユーザに示す。複数の算定された測定値を表示する例となるインタフェース１３００が、図１３に示されている。少なくともいくつかの実装形態では、これらの測定値は、１つの心臓周期において心室から放出される血液の分量である一回拍出量（ＳＶ）１３０２、１つの心臓周期において心室から放出される血液貯留の割合である駆出分画（ＥＦ）１３０４、血液が心室を出る平均率である心拍出量（ＣＯ）１３０６、拡張末期における心室に関する心筋層（すなわち、心外膜−心内膜）の質量であるＥＤ質量１３０８、および収縮末期における心室に関する心筋層の質量であるＥＳ質量１３１０を含む。
４Ｄ Ｆｌｏｗデータ（Flow data）に対して、上記でＳＳＦＰデータに関して説明されたのと同じＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャ、ハイパーパラメーター探索方法論、および訓練データベースが使用されてよい。４Ｄ Ｆｌｏｗモデルを訓練することは、上記で論じられたＳＳＦＰ動作と同じであってよいが、ＬＭＤＢの作成および推論は、４Ｄ Ｆｌｏｗ実装形態では異なってもよい。
４Ｄ Ｆｌｏｗデータに関する訓練データベース作成
ＳＳＦＰ ＤＩＣＯＭファイルが獲得され、ＳＡＸ方位で記憶されるが、４Ｄ Ｆｌｏｗ ＤＩＣＯＭは収集され、軸スライスとして記憶される。データのＳＡＸ多断面再構成（ＭＰＲ）を作成するために、ユーザは、左心および／または右心のための関連ランドマークを留置することを必要とすることができる。次いで、これらのランドマークは、心室心尖および弁によって定義された各心室に対する一意的なＳＡＸ平面を定義するために使用される。図１４は、２チャンバビュー１４０２、３チャンバビュー１４０４、および４チャンバビュー１４０６のための、各ＳＡＸ平面がＬＶに平行である、ＳＡＸ平面のセット１４００（ＳＡＸの積重ねとも呼ばれる）を示す。
ＳＳＦＰ ＤＩＣＯＭファイルが獲得され、ＳＡＸ方位で記憶されるが、４Ｄ Ｆｌｏｗ ＤＩＣＯＭは収集され、軸スライスとして記憶される。データのＳＡＸ多断面再構成（ＭＰＲ）を作成するために、ユーザは、左心および／または右心のための関連ランドマークを留置することを必要とすることができる。次いで、これらのランドマークは、心室心尖および弁によって定義された各心室に対する一意的なＳＡＸ平面を定義するために使用される。図１４は、２チャンバビュー１４０２、３チャンバビュー１４０４、および４チャンバビュー１４０６のための、各ＳＡＸ平面がＬＶに平行である、ＳＡＸ平面のセット１４００（ＳＡＸの積重ねとも呼ばれる）を示す。
アプリケーションは、必要に応じて、ユーザが、平行でないＳＡＸ平面を有することも可能にすることができる。図１５は、２チャンバビュー１５０２、３チャンバビュー１５０４、４チャンバビュー１５０６、および再構成画像１５０８のための、セグメンテーションの平面がＲＶに平行でない、ＳＡＸの積重ねのビューのセット１５００を示す。これは、セグメンテーションの平面が弁平面と交差せず、むしろそれと平行である場合に、心室をセグメンテーションすることがやや容易であることによって誘導される。しかしながら、これは要件ではなく、この特徴を使用することなく正確な結果を得ることが可能である。
図１６および図１７の画像１６００および１７００にそれぞれ示されるように、セグメンテーションは、各ＳＡＸ平面上の画像データの多断面再構成時に実行される。画像１６０６内の輪郭１６０４上の点１６０２は、スプラインを定義し、データベースに記憶されるものである。輪郭１６０４は、２チャンバＬＡＸビュー１６０８、３チャンバＬＡＸビュー１６１０、および４チャンバＬＡＸビュー１６１２に投影される。図１７は、図１６の同じスライスがセグメンテーションされる画像１７０２、１７０４、１７０６、および１７０８を示すが、２チャンバビュー１７０４、３チャンバビュー１７０６、および４チャンバビュー１７０８の各々は、奥行き効果を用いてセグメンテーションの平面を強調するためにやや回転されている。
図１８は、臨床医アノテーションから訓練ＬＭＤＢを作成するプロセス１８００を示す。４Ｄ Ｆｌｏｗアノテーションを、ＭｏｎｇｏＤＢ１８０２に記憶することができる。１８０４および１８０６では、システムはそれぞれ、輪郭およびランドマークを抽出する。輪郭は、輪郭のスプラインを定義する一連の（ｘ，ｙ，ｚ）として記憶される。ランドマークは、各ランドマークに対する単一の４次元座標（ｘ，ｙ，ｚ，ｔ）として記憶される。
１８０８では、輪郭をブール型マスクに変換するために、システムは、輪郭点をｘ−ｙ平面上に回転させる回転行列を計算する。システムは、輪郭の元の平面上で、サンプリンググリッド、すなわち、（ｘ，ｙ，ｚ）点のセットを定義してもよい。システムは、それらがｘ−ｙ平面内にあるように、輪郭とサンプリンググリッドの両方を同じ回転行列によって回転させる。ここで、サンプリンググリッドのどの点が、輪郭を定義する２Ｄ頂点内にあるかを決定することは、単純なタスクである。これは、２Ｄ多角形に関する単純な算定幾何学的問題である。
４Ｄ Ｆｌｏｗ ＤＩＣＯＭは、データベース１８１０に記憶される。１８１２では、システムは、作動１８０６からのランドマークアノテーションおよびデータベース１８１０からの４Ｄ Ｆｌｏｗ ＤＩＣＯＭを使用して、ＳＡＸの積重ねに沿って画像を定義および生成する。一般に、このＳＡＸの積重ねは、グラウンドトゥルース輪郭が定義された元のＳＡＸの積重ねのそれとは異なる。システムは、左心室心尖（ＬＶＡ）と僧帽弁（ＭＶ）を接続する線と直交するように積重ねを定義する。右心室心尖（ＲＶＡ）および三尖弁（ＴＶ）などの適切なランドマークの他の組み合わせも、同様に機能するであろう。
少なくともいくつかの実装において、システムは、ＬＶＡとＭＶの間にいくつかの（たとえば、１４）のスライスがあるように定義し、これは、ほとんどのＳＳＦＰ ＳＡＸの積重ねにおけるスライスの数と同様である。異なる数のスライスが使用されてもよい。より多くのスライスは、訓練セット多様性を増加させるが、実際のディスク上サイズは、多様性の増加よりも急速に増加するであろう。結果は、スライスの正確な数に対して敏感でないと予想される。
４つのスライスが、ＬＶＡを過ぎたところでＳＡＸの積重ねに付加され、さらに４つが、ＭＶを過ぎたところで付加される。これは、フル心室がＳＡＸの積重ね内にあることを保証する。結果は、使用される追加のスライスの正確な数に敏感でない可能性が高い。ＳＡＸの積重ねは、大動脈弁（ＡＶ）が、ＬＶＡをＭＶに接続する線の右に向けられることを保証することによって、ＲＶが常に画像の左にある（心臓ＭＲにおいて慣習的である）ように向けられ得る。方位の一貫性は、良好な結果を達成するために重要である可能性が高いが、選ばれた正確な方位は恣意的である。
１８１４では、少なくともいくつかの実装形態では、与えられたスタディに利用可能なすべての輪郭は、訓練および推論における単純さおよびスピードのために、単一の非湾曲なＳＡＸの積重ねにあるように補間される。ＳＡＸの積重ねの平面が定義されると、線形補間器が、元のサンプリンググリッド、すなわち（ｘ，ｙ，ｚ）点の系列、およびそれらの対応するマスクによって説明される各心室およびタイムポイントに対してセットアップされる。次いで、システムは、グラウンドトゥルースマスクを、それらの元のＳＡＸの積重ねからスタディの共通ＳＡＸの積重ね上へと補間する。この一例は、図１９のビュー１９００に示されており、図１９は、多断面再構成１９０２、ＲＶ ｅｎｄｏマスク１９０４、ＬＶ ｅｐｉマスク１９０６、およびＬＶ ｅｎｄｏマスク１９０８を示す。センチネル（ｓｅｎｔｉｎｅｌ）が、ラベルがいつ欠損しているかを指し示すために、補間されたグラウンドトゥルースマスク内で使用される。これの例となる可視化２０００が図２０に示されており、多断面再構成２００２、ＲＶ ｅｎｄｏマスク２００４、欠損ＬＶ ｅｐｉマスク２００６、およびＬＶ ｅｎｄｏマスク２００８を示す。
少なくともいくつかの実装形態では、グラウンドトゥルースマスクを共通のＳＡＸの積重ねに投影する代わりに、マスクは、軸平面上に投影され、軸平面内で訓練および推論を実行することができる。これは、類似の正確さを達成することができるが、アプリケーションのユーザインタフェース内で表示するために推論された輪郭をＳＡＸの積重ねへと再投影する必要性による、解像度のわずかな損失という結果になることができる。
１８１６では、システムは、前処理動作を実行する。たとえば、前処理の作動は、画像を正規化すること、画像／マスクを切り取ること、および画像／マスクをサイズ変更することを含むことができる。
１８１８では、システムは、４Ｄ Ｆｌｏｗ ＬＭＤＢに対する一意的なキーを、時間インデックス、スライスインデックス、側（「右」または「左」）、層（「ｅｎｄｏ」または「ｅｐｉ」）、アップロードＩＤ、ワークスペースＩＤ（１人の人間のアノテーションに対する一意的な識別子）、およびｗｏｒｋｆｌｏｗ＿ｋｅｙ（彼らが作業を行った所与のユーザのワークフローに対する一意的な識別子）の文字列組み合わせの３２文字ハッシュであるように定義する。あるいは、各画像／マスクペアに対するいくつかの他の一意的なキーのいずれかが使用されてもよい。１８２０では、システムは、タイムポイント、スライスインデックス、およびＬＭＤＢキーを含む、画像およびマスクのメタデータを、データフレームに記憶する。正規化され、切り取られ、サイズ変更された画像と、切り取られ、サイズ変更されたマスクが、各キーに対してＬＭＤＢ１８２２に記憶される。
４Ｄ Ｆｌｏｗデータに関するＤｅｅｐ Ｖｅｎｔｒｉｃｌｅ推論
上記で論じられたＳＳＦＰ Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ推論と同様に、ウェブアプリケーションが、４Ｄ Ｆｌｏｗデータに関する推論に使用され得る。図２１は、システムが新しい４Ｄ Ｆｌｏｗスタディ（Flow study）に関する予測を行うプロセス２１００のためのパイプラインを示す。２１０２では、ユーザがウェブアプリケーション内でスタディをロードした後、ユーザは、上記で説明され図９に示された推論パイプラインに類似したパイプラインを通して、推論サービスを起動することができる。ランドマークは、手動で、または自動的に（たとえば、以下で論じられる自動化されたランドマーク発見アルゴリズムによって）、のどちらかで、すでに定義されている。
上記で論じられたＳＳＦＰ Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ推論と同様に、ウェブアプリケーションが、４Ｄ Ｆｌｏｗデータに関する推論に使用され得る。図２１は、システムが新しい４Ｄ Ｆｌｏｗスタディ（Flow study）に関する予測を行うプロセス２１００のためのパイプラインを示す。２１０２では、ユーザがウェブアプリケーション内でスタディをロードした後、ユーザは、上記で説明され図９に示された推論パイプラインに類似したパイプラインを通して、推論サービスを起動することができる。ランドマークは、手動で、または自動的に（たとえば、以下で論じられる自動化されたランドマーク発見アルゴリズムによって）、のどちらかで、すでに定義されている。
ランドマークの位置は、推論を実行する標準的なＬＶのＳＡＸの積重ねを作成するために使用される。ＳＡＸの積重ねは、上記で説明された、訓練中にＳＡＸの積重ねが作成されたのと同じやり方で作成される。２１０４において、ＳＡＸの積重ねにおける各ＭＰＲを説明するために必要とされるメタデータが、ランドマークロケーションから計算される。各ＭＰＲの平面は、平面上の点および平面の法線によって十分に定義されるが、システムはまた、本実装において画像が正しく向けられるように僧帽弁と大動脈弁を接続するベクトルを渡す。すなわち、右心室は、画像内では左にある。僧帽弁および三尖弁などのランドマークの別のセットも、右心室が画像内で左にあったことを保証するのに十分であることができる。
２１０６では、ＭＰＲメタデータが、次いで、算定サーバに送信され、算定サーバは、データの分散されたバージョンを有する（各算定ノードは、データのいくつかのタイムポイントを有する）。２１０８では、各ノードは、それが利用可能であるタイムポイントに対する要求されたＭＰＲをレンダリングする。２１１０では、次いで、生成されたＭＰＲ画像が、タイムポイント、方位、位置、およびスライスインデックスを含むそれらのメタデータとともに、複数の推論サーバにわたってタイムポイントによって均等に分散される。２１１２では、ネットワークが、各推論ノード上にロードされる。
２１１４では、一度に画像の１つのバッチが、各推論ノードによって処理される。２１１６では、画像が前処理される。２１１８では、順方向パスが算定される。２１２０では、予測が後処理され、スプライン輪郭が、上記で論じられたＳＳＦＰ実装形態と同じやり方で作成される。
２１２２では、生成されたスプラインが、すべてのバッチが処理された後にウェブサーバに転送され、スプラインは、他の推論ノードからの推論の結果と接合される。ウェブサーバは、輪郭が欠損している場合に隣接スライス間を補間することによって、容積が連続的である（すなわち、容積の途中に欠損輪郭がない）ことを保証する。２１２４では、ウェブサーバは、輪郭をデータベースに保存し、次いで、ウェブアプリケーションを介して輪郭をユーザに提示する。ユーザがスプラインを編集する場合、スプラインの更新されたバージョンは、元の、自動的に生成されたバージョンとともに、データベースに保存される。少なくともいくつかの実装形態では、手動で編集された輪郭をそれらの元の、自動的に生成されたバージョンと比較することが、手動補正を必要とした推論の結果上のみでモデルを再訓練または微調節するために使用されることができる。
図２２、図２３、および図２４はそれぞれ、単一のタイムポイントおよびスライスロケーションにおけるＬＶ Ｅｎｄｏ（輪郭２２０２）、ＬＶ Ｅｐｉ（輪郭２３０２）、およびＲＶ Ｅｎｄｏ（輪郭２４０２）に関するアプリケーション内推論の画像２２００、２３００、および２４００を示す。ＳＳＦＰと同様に、ＥＤおよびＥＳにおいて計算されたボリューム、ならびに複数の算定された測定値（図１３を参照されたい）は、ユーザに提示されてよい。
３Ｄエンドツーエンド畳み込みアーキテクチャ
心室のエンドツーエンドセグメンテーションのための別の手法は、容積測定の画像、容積測定のマスク、および３Ｄ畳み込みカーネルを、全体を通して利用することである。この実装形態の説明と動作の両方は、上記で論じられたＳＳＦＰ実装形態のそれに密接に従うが、いくつかの重要な違いがある。したがって、簡潔のために、以下議論は主に、そのような違いに焦点を当てる。
心室のエンドツーエンドセグメンテーションのための別の手法は、容積測定の画像、容積測定のマスク、および３Ｄ畳み込みカーネルを、全体を通して利用することである。この実装形態の説明と動作の両方は、上記で論じられたＳＳＦＰ実装形態のそれに密接に従うが、いくつかの重要な違いがある。したがって、簡潔のために、以下議論は主に、そのような違いに焦点を当てる。
この実装形態のためのＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャは、畳み込みカーネルが単に（Ｎ×Ｍ）ピクセルではなく（Ｎ×Ｍ×Ｋ）ピクセルであることを除いて、上記で論じられたそれとほぼ同一であり、ここで、Ｎ、Ｍ、およびＫは、互いに等しくてもよいし異なってもよい正の整数である。モデルパラメーターも同様に見えるが、訓練データを説明する際の深さ成分の追加が、容積測定の入力画像の形状を十分に説明するために必要であることができる。
他の実装形態と同様に、この実装形態には、訓練ＬＭＤＢが利用される。この実装形態のためのＬＭＤＢは、上記で論じられた４Ｄ Ｆｌｏｗ実装形態のそれに類似したやり方で作成されることができる。しかしながら、この実装形態では、より多くのスライスが、隣接スライス間のスライス間隔がｘ方向およびｙ方向におけるピクセル間隔のそれに類似している（すなわち、ピクセル間隔は、３次元でほぼ等方性である）ように、ＳＡＸを定義するために利用される。ピクセル間隔間の比がすべてのスタディにわたって維持される限り非等方性ピクセル間隔を用いて類似の結果が達成され得る可能性が高い。次いで、ＳＡＸ ＭＰＲおよびマスクが、空間的スライスによって順序づけられ、これらのスライスは、１つのコヒーレントな容積測定の画像へと連結される。モデル訓練は、上記で図８を参照して説明されたのと同じパイプラインに従って行われる。
推論パイプラインは、４Ｄ Ｆｌｏｗ実装形態のそれとも酷似している。しかしながら、この実装形態では、隣接ＭＰＲは、推論の前に１つの容積測定の画像へと連結されることを必要とする。
乳頭筋の除外
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ自動セグメンテーションモデルの追加の実装形態は、心室の血液貯留がセグメンテーションされ乳頭筋が除外されるものである。実際には、乳頭筋は小さく、不規則な形状になっているので、それらは、一般的には、便宜上セグメンテーションされたエリアに含まれる。乳頭筋を血液貯留から除外するこの実装形態のアーキテクチャ、ハイパーパラメーター、および訓練データベースはすべて、上記で論じられたＳＳＦＰ実装形態に類似している。しかしながら、この実装形態では、グラウンドトゥルースセグメンテーションデータベースは、それらを含むのではなく乳頭筋を除外する左心室心内膜アノテーションおよび右心室心内膜アノテーションを含む。
Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅ自動セグメンテーションモデルの追加の実装形態は、心室の血液貯留がセグメンテーションされ乳頭筋が除外されるものである。実際には、乳頭筋は小さく、不規則な形状になっているので、それらは、一般的には、便宜上セグメンテーションされたエリアに含まれる。乳頭筋を血液貯留から除外するこの実装形態のアーキテクチャ、ハイパーパラメーター、および訓練データベースはすべて、上記で論じられたＳＳＦＰ実装形態に類似している。しかしながら、この実装形態では、グラウンドトゥルースセグメンテーションデータベースは、それらを含むのではなく乳頭筋を除外する左心室心内膜アノテーションおよび右心室心内膜アノテーションを含む。
乳頭筋を心内膜の輪郭から除外するセグメンテーションは作成するのが面倒であるので、訓練データの量は、乳頭筋を除外しないセグメンテーションのために獲得可能であるものよりも著しく少なくできる。これを補償するために、最初に、乳頭筋が心内膜セグメンテーションに含まれ心外膜セグメンテーションから除外されたデータに対して訓練された畳み込みニューラルネットワークが使用され得る。これは、ネットワークが、各クラスの一般的なサイズおよび形状をセグメンテーションすることを学習することを可能にする。次いで、そのネットワークは、乳頭筋をセグメンテーションから除外するより小さいデータのセットに対して微調節される。結果は、以前と同じクラスをセグメンテーションするが乳頭筋が心内膜セグメンテーションから除外されたセグメンテーションモデルである。これは、乳頭筋が心内膜の輪郭内に含まれたときに以前に利用可能であったものよりも正確な心室の血液貯留の容積についての尺度という結果になる。
自動化されたボリュームのための他のビューの合成
従来の画像分類またはセグメンテーション・ニューラル・ネットワーク・アーキテクチャは、一度に単一の、場合によってはマルチチャネル（たとえば、ＲＧＢ）の、場合によっては容積測定の画像に対して動作する。標準的な２Ｄ手法は、一度に単一の、３Ｄボリュームからのスライスに対して動作するネットワークを含む。このケースでは、その単一のスライスからの情報のみが、そのスライス内のデータを分類またはセグメンテーションするために使用される。この手法に関する問題は、周囲のタイムポイントまたはスライスからの文脈が、対象となるスライスに対する推論に組み込まれないことである。標準的な３Ｄ手法は、容積測定の予測を行うために、カーネル３Ｄを利用し、容積測定の情報を組み込む。しかしながら、この手法は低速であり、訓練と推論の両方に、著しい算定リソースを必要とする。
従来の画像分類またはセグメンテーション・ニューラル・ネットワーク・アーキテクチャは、一度に単一の、場合によってはマルチチャネル（たとえば、ＲＧＢ）の、場合によっては容積測定の画像に対して動作する。標準的な２Ｄ手法は、一度に単一の、３Ｄボリュームからのスライスに対して動作するネットワークを含む。このケースでは、その単一のスライスからの情報のみが、そのスライス内のデータを分類またはセグメンテーションするために使用される。この手法に関する問題は、周囲のタイムポイントまたはスライスからの文脈が、対象となるスライスに対する推論に組み込まれないことである。標準的な３Ｄ手法は、容積測定の予測を行うために、カーネル３Ｄを利用し、容積測定の情報を組み込む。しかしながら、この手法は低速であり、訓練と推論の両方に、著しい算定リソースを必要とする。
以下で論じられるいくつかのハイブリッド手法が、メモリ／算定とモデルに対する時空間的文脈の利用可能性との間のトレードオフを最適化するために使用されることができる。空間的文脈は、単一の２Ｄスライス上で僧帽弁および三尖弁が区別するのが困難である心臓の基部近くの心室セグメンテーションに特に有用である。時間的文脈、およびセグメンテーションの一貫性を施行することは、セグメンテーションのすべての部分にとって有用であることができる。
第１の手法では、問題は２Ｄ問題と解釈され、一度に単一のスライスに対して予測を行うが、隣接するスライス（空間、時間、または両方のどれかで）は、画像の追加の「チャネル」と解釈される。たとえば、時間ｔ＝５およびスライス＝１０では、以下の時間／スライス組み合わせにおけるデータが以下の９チャネル、すなわち、ｔ＝４、スライス＝９；ｔ＝４、スライス＝１０；ｔ＝４、スライス＝１１；ｔ＝５、スライス＝９；ｔ＝５、スライス＝１０；ｔ＝５、スライス＝１１；ｔ＝６、スライス＝９；ｔ＝６、スライス＝１０；およびｔ＝６、スライス＝１１へとパックされる９チャネル画像が作成されてよい。この構成では、ネットワークは２Ｄ畳み込みとともに動作するが、近くの空間的ロケーションおよび時間的ロケーションからのデータを組み込み、学習されたカーネルと畳み込まれた入力チャネルの線形結合を介して特徴マップを作成する標準的ニューラルネットワーク技法を介して情報を合成する。
第２の手法は、心臓ＭＲＩのいくつかの複雑なものに特有であるが、それは、データの直交（または斜めの）平面が獲得される任意のシナリオにおいて使用されることができる。標準的なＳＳＦＰ心臓ＭＲＩでは、短軸（ＳＡＸ）の積重ねは、１つまたは複数の長軸（ＬＡＸ）平面とともに獲得される。ＬＡＸ平面はＳＡＸの積重ねと直交し、ＬＡＸ平面は、一般的には、左心室の長軸に沿った方向において著しく高い空間分解能を有する。すなわち、ＳＡＸスライス間間隔はＬＡＸ平面内ピクセル間隔よりも著しく粗いので、ＳＡＸの積重ねのＭＰＲによって作成されるＬＡＸ画像は、ネイティブＬＡＸ画像よりも低い解像度を有する。長軸方向におけるより高い空間分解能のため、ＳＡＸ画像と比較すると、ＬＡＸ画像において弁を見ることは、はるかに簡単である。
したがって、２段階心室セグメンテーションモデルが利用されてよい。第１の段階では、心室が、１つまたは複数のＬＡＸ平面内でセグメンテーションされる。これらの画像の高い空間分解能のため、セグメンテーションは、非常に精度が高いことができる。欠点は、ＬＡＸ平面が、ボリュームの代わりに単一の平面のみからなることである。このＬＡＸセグメンテーションがＳＡＸの積重ねに投影される場合、ＬＡＸセグメンテーションは、ＳＡＸ画像の各々の上の線として出現する。この線は、線が複数のＬＡＸビュー（たとえば、２ＣＨ、３ＣＨ、４ＣＨ。以下の「手動ＬＶ／ＲＶボリュームのための弁平面を定義するためのインタフェース」という見出しを参照されたい）からセグメンテーションにわたって集約される場合に、高精度で作成されることができる。この線は、ＳＡＸ画像上で動作する異なるモデルを介して生成されるＳＡＸセグメンテーションを境界づけるために使用されることができる。ＳＡＸセグメンテーションモデルは、その予測を行うために、生のＳＡＸ ＤＩＣＯＭデータならびにＬＡＸモデルからの予測された投影された線の両方を入力として使用する。予測されたＬＡＸ線は、ＳＡＸ予測をガイドして境界づけ、特に、セグメンテーションがＳＡＸの積重ね上にだけ見られると曖昧であることが多い、心臓および弁平面の基部近くのモデルを補助する。
この技法は、ボリューム全体が一度に獲得される（そしてＳＡＸ画像およびＬＡＸ画像が別個に収集されない）４Ｄ Ｆｌｏｗを含む任意の心臓画像法に使用されてよく、２つの連鎖モデル内にもかかわらず、２Ｄカーネルのみが用いられることを必要とする利点を有する。
自動化されたボリュームのための時間またはフロー情報の使用
ＳＳＦＰシネスタディは、４次元のデータ（３つの空間、１つの時間）を含み、４Ｄ Ｆｌｏｗスタディは、５次元のデータ（３つの空間、１つの時間、情報の４チャネル）を含む。これらの情報の４チャネルは、解剖学的構造（すなわち 信号強度）、ｘ軸位相、ｙ軸位相、およびｚ軸位相である。モデルを構築する最も単純なやり方は、各３Ｄ空間点における信号強度のみを使用し、時間的情報、または４Ｄ Ｆｌｏｗの場合は、フロー情報を組み込まない。この単純なモデルは、形状（ｘ，ｙ，ｚ）の３Ｄデータキューブを入力とみなす。
ＳＳＦＰシネスタディは、４次元のデータ（３つの空間、１つの時間）を含み、４Ｄ Ｆｌｏｗスタディは、５次元のデータ（３つの空間、１つの時間、情報の４チャネル）を含む。これらの情報の４チャネルは、解剖学的構造（すなわち 信号強度）、ｘ軸位相、ｙ軸位相、およびｚ軸位相である。モデルを構築する最も単純なやり方は、各３Ｄ空間点における信号強度のみを使用し、時間的情報、または４Ｄ Ｆｌｏｗの場合は、フロー情報を組み込まない。この単純なモデルは、形状（ｘ，ｙ，ｚ）の３Ｄデータキューブを入力とみなす。
利用可能なデータをすべて活用するために、少なくともいくつかの実装形態では、時間データおよび位相データも組み込まれる。これは、少なくともいくつかの理由で特に有用である。第一に、心臓の動きは通常、心臓周期中に予測可能なパターンに従うので、ピクセルの相対的な動きは、特に解剖学的領域を識別する助けとなることができる。第二に、通常は心臓周期に対して約２０のタイムポイントが記録され、これは、心臓がフレーム間でわずかしか動かないことを意味する。予測がフレーム間でわずかにのみ変更すべきであることを知ることは、モデル出力を正則化するやり方として働くことができる。第三に、フロー情報は、低いフローと高いフローの間で変わる非常に規則的なフローパターンを有する、弁などの構造を配置するために使用可能である。
時間データを組み込むために、時間は、追加の「チャネル」として強度データに追加されることができる。そのような実装形態では、モデルは、次いで、形状（Ｘ，Ｙ，ＮＴＩＭＥＳ）の３Ｄデータブロブ（ｂｌｏｂ）または形状（Ｘ，Ｙ，Ｚ，ＮＴＩＭＥＳ）の４Ｄデータブロブを入力とみなし、ここで、ＮＴＩＭＥＳは、含むことになるタイムポイントの数である。これは、すべてのタイムポイントであってもよいし、または対象となるタイムポイントを囲む少数のタイムポイントであってもよい。すべてのタイムポイントが含まれる場合、時間は心臓周期を表し、本質的に周期的であるので、数個の「ラップドアラウンド（ｗｒａｐｐｅｄ ａｒｏｕｎｄ）」のタイムポイントを用いてデータをパディングすることが望ましいまたは必要なことがある。次いで、モデルは、データの追加の「チャネル」としてタイムポイントを有する２Ｄ／３Ｄ畳み込みを伴ってもよいし、または３Ｄ／４Ｄ畳み込みのどちらかを伴ってもよい。前者のケースでは、出力は、対象となる単一の時間において２Ｄ／３Ｄであってよい。後者のケースでは、出力は、３Ｄ／４Ｄであってよく、入力に含まれたのと同じタイムポイントにおけるデータを含んでよい。
４Ｄ Ｆｌｏｗで獲得される位相データは、位相の各方向（ｘ，ｙ，ｚ）を入力データの追加のチャネルとして使用して、または位相大きさのみを単一の追加のチャネルとして使用して、どちらかで、類似のやり方に組み込まれてもよい。時間なしで、フローの３つの成分すべてを有する場合、入力は、形状（Ｘ，Ｙ，Ｚ，４）を有し、ここで、４は、ピクセル強度および位相の３つの成分を指し示す。時間があれば、この形状は、（Ｘ，Ｙ，Ｚ，ＮＴＩＭＥＳ，４）である。したがって、そのような実装形態では、モデルは、４次元または５次元の畳み込みとともに動作する。
自動化された４Ｄ Ｆｌｏｗランドマーク
本明細書において論じられるシステムおよび方法は、３Ｄ ＭＲＩにおける複数の心臓ランドマークの領域の自動化された検出も可能にする。システムは、画像化された心臓のさまざまな位置、方位、および外観を有するＭＲＩの多様なセットを取り扱う。さらに、システムは、不完全なアノテーションを有するデータベースからの学習の問題を効果的に扱う。より具体的には、システムは、訓練セット上の各入力された容積測定の画像に対していくつかのランドマークのみが配置されているとき、画像内のあらゆるランドマークを検出する問題に対処する。
本明細書において論じられるシステムおよび方法は、３Ｄ ＭＲＩにおける複数の心臓ランドマークの領域の自動化された検出も可能にする。システムは、画像化された心臓のさまざまな位置、方位、および外観を有するＭＲＩの多様なセットを取り扱う。さらに、システムは、不完全なアノテーションを有するデータベースからの学習の問題を効果的に扱う。より具体的には、システムは、訓練セット上の各入力された容積測定の画像に対していくつかのランドマークのみが配置されているとき、画像内のあらゆるランドマークを検出する問題に対処する。
一般に、パイプラインは、必要とされたランドマークの位置を生の３Ｄ画像から自律的に出力するエンドツーエンド機械学習アルゴリズムである。有利には、システムは、前処理またはユーザからの事前知識を必要としない。さらに、容積測定の画像内の検出されたランドマークは、２ＣＨビュー、３ＣＨビュー、４ＣＨビュー、およびＳＡＸビューに沿って画像を投影するために使用されることができる。そのようなことは、これらのビューが、ユーザによる介入なしに自動的に作成されることを可能にする。
最初は、解決策の第１の実装形態が論じられる。この実装形態では、心臓ランドマークは、多くの層を有するニューラルネットワークを使用して配置される。アーキテクチャは３次元（３Ｄ）であり、３Ｄ畳み込みを使用する。本明細書は、３つの左心室ランドマーク（ＬＶ心尖、僧帽弁および大動脈弁）と３つの右心室ランドマーク（ＲＶ心尖、三尖弁および肺動脈弁）との検出に焦点を当てる。しかしながら、この方法は、これらのアノテーションがグラウンドトゥルースの一部として利用可能である場合、同等の結果を有するより多様な心臓ランドマークの検出に適用され得ることに留意されたい。
先に説明されたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅアーキテクチャと同様に、本開示のランドマーク検出方法は、畳み込みニューラルネットワークに基づく。ランドマーク検出に必要な情報は、それらのアノテーション（すなわち、ランドマークの位置）とともに、臨床画像のデータベースから抽出される。図２５、図２６、および図２７はそれぞれ、左心室心尖、僧帽弁、および右心室心尖がそれぞれ、上記で論じられたウェブアプリケーションなどのウェブアプリケーションを使用して位置決めされた３人の患者の画像２５００、２６００、２７００を示す。この例では、大動脈弁、肺動脈弁、および三尖弁のためのアノテーションがどのように欠損しているかに留意されたい。
第一に、データ取り扱いパイプラインが説明される。このセクションは、ランドマークロケーションを符号化するために使用される特定の方法とともに、それらのアノテーションを有する画像のデータベースを作成するためにたどられるプロセスを詳述する。第二に、機械学習手法のアーキテクチャが提示される。ネットワークがどのように入力３Ｄ画像をランドマークロケーションの予測へと変形するかが提示される。第三に、利用可能なデータに対してモデルがどのように訓練されるかが説明される。最後に、推論パイプラインが詳述される。６つのランドマークすべての領域を予測するために以前に使用されたことのない画像にニューラルネットワークをどのように適用することができるかが示される。
データ取り扱いパイプライン
提示された機械学習手法について、２次元（２Ｄ）ＤＩＣＯＭ画像の系列として記憶された心臓の３次元（３Ｄ）磁気共鳴画像（ＭＲＩ）を含む、４Ｄ Ｆｌｏｗデータのデータベースが使用される。一般的には、約２０の３Ｄの容積測定の画像が、単一の心臓周期全体を通して獲得され、各々は、心拍の１つのスナップショットに対応する。したがって、初期データベースは、異なる時間ステップにおける異なる患者の３Ｄ画像に対応する。各３Ｄ ＭＲＩは、ウェブアプリケーションのユーザによって留置されたゼロのランドマークから６つのランドマークまでのいくつかのランドマークアノテーションを提示する。ランドマークアノテーションは、存在する場合、タイムポイントｔに対応する３Ｄ ＭＲＩ内のランドマークの位置（ｘ，ｙ，ｚ）を指し示す座標（ｘ，ｙ，ｚ，ｔ）のベクトルとして記憶される。
提示された機械学習手法について、２次元（２Ｄ）ＤＩＣＯＭ画像の系列として記憶された心臓の３次元（３Ｄ）磁気共鳴画像（ＭＲＩ）を含む、４Ｄ Ｆｌｏｗデータのデータベースが使用される。一般的には、約２０の３Ｄの容積測定の画像が、単一の心臓周期全体を通して獲得され、各々は、心拍の１つのスナップショットに対応する。したがって、初期データベースは、異なる時間ステップにおける異なる患者の３Ｄ画像に対応する。各３Ｄ ＭＲＩは、ウェブアプリケーションのユーザによって留置されたゼロのランドマークから６つのランドマークまでのいくつかのランドマークアノテーションを提示する。ランドマークアノテーションは、存在する場合、タイムポイントｔに対応する３Ｄ ＭＲＩ内のランドマークの位置（ｘ，ｙ，ｚ）を指し示す座標（ｘ，ｙ，ｚ，ｔ）のベクトルとして記憶される。
図２８は、４Ｄ Ｆｌｏｗ画像２８０２の２Ｄ ＤＩＣＯＭスライス、およびＭｏｎｇｏＤＢデータベースに記憶されたアノテーション２８０４を取り扱うためにたどられ得るプロセス２８００を示す。
２８０６では、ランドマーク座標が、ＭｏｎｇｏＤＢデータベースから抽出される。次いで、２８０８では、３Ｄ ＭＲＩが、ｚ軸に沿ったそれらのロケーションに従って単一のタイムポイントからの２Ｄ ＤＩＣＯＭ画像を一緒にスタッキングする（すなわち、２Ｄ画像は、３Ｄボリュームを作成するために深さ次元に沿ってスタッキングされる）ことによって、２Ｄ ＤＩＣＯＭ画像の系列から抽出される。これは、心臓のフルビューを表す容積測定の３Ｄ画像という結果になる。ＬＭＤＢは、少なくとも１つのランドマークの位置でアノテーション付与された３Ｄ画像で構築される。これは、グラウンドトゥルースランドマークをもたない画像はＬＭＤＢに含まれないことを意味する。
２８１０では、後の段階で使用されるニューラルネットワークによって理解可能なやり方でアノテーション情報を符号化するラベルマップが定義される。ランドマークの位置は、３Ｄボリューム内の各位置において、その位置がランドマークの位置にある可能性がどれくらいあるかを指し示すことによって、符号化される。そうするために、３Ｄガウス確率分布が作成され、グラウンドトゥルースランドマークの位置に中心が置かれ、標準偏差は、すべての訓練データにわたるそのタイプのランドマークの観察された評価者間変動性に対応する。
評価者間変動性を理解するために、ＬＶ心尖などの１つの特定のランドマークを考える。ＬＶ心尖が複数のユーザまたは「評価者」によってアノテーション付与されるあらゆるスタディに対して、すべてのユーザにわたってのＬＶ心尖座標の標準偏差が算定される。このプロセスを各ランドマークに対して繰り返すことによって、各ランドマークを符号化するために使用されるガウシアンのための標準偏差が定義される。このプロセスは、原則に基づいた仕方における、このパラメーターの設定を可能にする。この手法を使用するさまざまな利点の中でも、標準偏差は各ランドマークに対して異なり、ランドマークを配置する複雑さに依存することはノートである。具体的には、より困難なランドマークは、ターゲット確率マップにおいて、より大きなガウス標準偏差を有する。さらに、標準偏差は、ｘ軸、ｙ軸、およびｚ軸に沿って異なり、不確実性が、心臓の解剖学的構造および／または画像の解像度のために、別の方向ではなくある方向に沿って大きくなり得ることを反映する。
代替戦略は、標準偏差（恣意的な値、パラメーター探索）を定義するために使用されてもよく、同等の結果につながり得ることに留意されたい。図２９は、ビュー２９０４内の十字２９０２で識別されるランドマークの位置から、２Ｄケースの場合に画像上で評定されるビュー２９０８内のガウシアン２９０６への、この移行を示す。
２８１２では、３ＤボリュームがＭＲＩとラベルマップの両方に対して定義されると、画像が前処理される。一般に、目標は、将来の訓練のために画像サイズおよび外観を正規化することである。
図３０は、前処理パイプラインのためのプロセス３０００を示す。３００６および３００８では、３Ｄ ＭＲＩ３００２およびラベルマップ３００４はそれぞれ、ＭＲＩのすべてが同じニューラルネットワークに供給可能であるように、あらかじめ定義されたサイズ＄ｎ＿ｘ＼ｔｉｍｅｓ ｎ＿ｙ＼ｔｉｍｅｓ ｎ＿ｚ＄にサイズ変更される。３０１０では、ＭＲＩピクセルの強度は、第１パーセンタイルから第９９パーセンタイルの間でクリッピングされる。これは、ピクセル強度が、第１のパーセンタイルおよび第９９のパーセンタイルに対応する強度の値で飽和することを意味する。これは、アーチファクトによって引き起こされ得る外れ値ピクセル強度を除去する。３０１２では、次いで、強度が、０から１の間にあるようにスケーリングされる。３０１４では、次いで、コントラスト制限適応ヒストグラム等化（contrast limited adaptive histogram equalization）を使用して、画像内のコントラストを最大にし、画像内強度差を最小にする（たとえば、磁場不均質性によって引き起こされ得る）ように、強度ヒストグラムが正規化される。最後に、３０１６では、画像が、ゼロ平均を有するように中央に置かれる。他の戦略が、入力の分散を１に正規化することによってなどの、画像強度の正規化に使用されてもよく、類似の結果をもたらしてよい。このパイプラインは、ネットワークに供給可能である前処理された画像３０１８およびラベル３０２０という結果になる。
図３１および図３２は、前処理された３Ｄ ＭＲＩおよび符号化されるラベルの、２人の患者に対する例となる画像３１００および３２００を示す。具体的には、図３１は、１人の患者に対して前処理された入力画像および符号化された僧帽弁のランドマークの矢状ビュー３１０２、軸ビュー３１０４、および冠状ビュー３１０６を示し、図３２は、別の患者に対する前処理された入力画像および符号化された僧帽弁のランドマークの矢状ビュー３２０２、軸ビュー３２０４、および冠状ビュー３２０６を示す。図３１および図３２においてわかり得るように、三尖弁の局所化に対する不確実性は、僧帽弁に対する不確実性よりも大きい。さらに、不確実性は、１つの軸から他へとは異なる。
図２８に戻ると、２８１４においてアップロードＩＤが、ペア（ＭＲＩ、ラベルマップ）を識別するキーであるように定義され、２８１６において訓練ＬＭＤＢデータベースに記憶される。最後に、２８１８では、ペア（ＭＲＩ、ラベルマップ）がＬＭＤＢに書き込まれる。
ネットワークアーキテクチャ
上記で述べられたように、ディープニューラルネットワークが、ランドマークの検出に使用される。ネットワークは、前処理された３Ｄ ＭＲＩを入力とみなし、ランドマークあたり１つ、６つの３Ｄラベルマップを出力する。この実装形態において使用されるアーキテクチャは、上記で説明されたアーキテクチャに類似しているまたはこれと同一である。ネットワークは、２つの対照的経路、すなわち、収縮用経路および膨張用経路から構成される（図６を参照されたい）。
上記で述べられたように、ディープニューラルネットワークが、ランドマークの検出に使用される。ネットワークは、前処理された３Ｄ ＭＲＩを入力とみなし、ランドマークあたり１つ、６つの３Ｄラベルマップを出力する。この実装形態において使用されるアーキテクチャは、上記で説明されたアーキテクチャに類似しているまたはこれと同一である。ネットワークは、２つの対照的経路、すなわち、収縮用経路および膨張用経路から構成される（図６を参照されたい）。
すべてのランドマークが利用可能な訓練データ内で利用可能であるとは限らないので、本開示のシステムおよび方法は、有利には、すべてのランドマークを同時に予測することを依然として可能でありながら、ラベル内の欠損情報を取り扱う。
ランドマーク検出に使用されるネットワークは、３つの主なやり方において、上記で論じられたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅ実装形態と異なる。第一に、アーキテクチャは３次元である。ネットワークは、単一のパス内で３Ｄ ＭＲＩを処理し、あらゆるランドマークに対して３Ｄラベルマップを生じさせる。第二に、ネットワークは、各ランドマークに対して１つ、６つのクラスを予測する。第三に、ハイパーパラメーター探索の後で選択されるパラメーターは、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅパラメーターと異なることができ、具体的には、間近の問題を解決するために選択される。加えて、上記で論じられた、ラベルマップを定義するために使用される標準偏差は、ハイパーパラメーターと考えられ得る。ネットワークの出力は、ランドマークがどこに位置決めされているかを符号化する３Ｄマップである。マップの高い値は、可能性の高いランドマークの位置に対応することができ、低い値は、可能性の低いランドマークの位置に対応することができる。
訓練
以下の議論は、ディープニューラルネットワークが３Ｄ ＭＲＩおよびラベルマップペアのＬＭＤＢデータベースを使用してどのように訓練可能であるかを説明する。全体的な目的は、以前に見られなかった画像上で心臓ランドマークの位置をネットワークが予測することができるように、ネットワークのパラメーターを調節することである。訓練プロセスのフローチャートは、図８に示されており、上記で説明された。
以下の議論は、ディープニューラルネットワークが３Ｄ ＭＲＩおよびラベルマップペアのＬＭＤＢデータベースを使用してどのように訓練可能であるかを説明する。全体的な目的は、以前に見られなかった画像上で心臓ランドマークの位置をネットワークが予測することができるように、ネットワークのパラメーターを調節することである。訓練プロセスのフローチャートは、図８に示されており、上記で説明された。
訓練データベースは、モデルを訓練するために使用される訓練セット、モデルの品質を定量化するために使用される検証セット、およびテストセットに分割され得る。分割は、単一の患者からのすべての画像が同じセット内にあるように強制する。これは、モデルが、訓練に使用される患者とともに検証されないことを請け合う。どの点でも、モデルを訓練するときに使用されるテストセットからのデータはない。テストセットからのデータは、ランドマーク局所化の例を示すために使用されることができるが、この情報は、訓練に、またはモデルを互いに対してランク付けするために使用されない。
訓練中、損失の勾配は、ニューラルネットワークのパラメーターを更新するために使用される。少なくともいくつかの実装形態では、ランドマークが存在する領域内の損失を重み付けすることは、ネットワークのより早い収束を提供するために利用されることができる。より正確には、損失を算定するとき、より大きな重みが、画像の残部と比較すると、ランドマークに近い画像の領域に適用されることができる。その結果、ネットワークが、より急速に収束する。しかしながら、重み付けされていない損失を使用することも、より長い訓練時間にもかかわらず、良好な結果とともに使用されることができる。
推論
新しい画像が与えられると、ランドマークの位置が、上記で図２８を参照して説明されたものと類似の様式で画像を前処理することによって推論される。より正確には、画像は、サイズ変更され、クリッピングされ、スケーリングされることができ、画像のヒストグラムが等化され、画像が中心に置かれることができる。ネットワークは、ランドマークあたり１つのマップ、６つのランドマークのケースでは合計で６つの３Ｄマップを出力する。これらのマップは、各ランドマークが特定の位置で発見される確率を説明する。あるいは、マップは、ランドマークの真の位置から逆距離関数を符号化すると考えられ得る（すなわち、高い値は小さい距離という結果になり、低い値は大きな距離という結果になる）。
新しい画像が与えられると、ランドマークの位置が、上記で図２８を参照して説明されたものと類似の様式で画像を前処理することによって推論される。より正確には、画像は、サイズ変更され、クリッピングされ、スケーリングされることができ、画像のヒストグラムが等化され、画像が中心に置かれることができる。ネットワークは、ランドマークあたり１つのマップ、６つのランドマークのケースでは合計で６つの３Ｄマップを出力する。これらのマップは、各ランドマークが特定の位置で発見される確率を説明する。あるいは、マップは、ランドマークの真の位置から逆距離関数を符号化すると考えられ得る（すなわち、高い値は小さい距離という結果になり、低い値は大きな距離という結果になる）。
したがって、図３３の図３３００に示されるように、ランドマークの位置３３０２は、各ランドマークに対するニューラルネットワークの出力の最大値を探すことによって決定可能である。次いで、この位置は、最終的なランドマーク局所化のために、元の前処理されていない３Ｄ入力ＭＲＩの空間へと投影される（たとえば、推論中に容積に適用された空間的な歪みを元に戻す）。ラベルマップをランドマークの位置座標に変えるために、いくつかの他の戦略が使用されてよいことに留意されたい。たとえば、ラベルマップを３Ｄ確率密度として使用して、予想される位置を得てもよい。最大値を得ることは密度のモードを考えることに対応することに留意されたい。あるいは、確率推定値は、最大値または期待値をロケーションとして選択する前に、最初に平滑化されてもよい。
データ集め
少なくともいくつかの実装形態では、データセットは、以前のユーザによってウェブアプリケーション上にアップロードされた臨床のスタディにおいて作製される。アノテーションは、異なる画像上にユーザによって留置されることができる。以前に説かれたように、このデータセットは、訓練セット、検証セット、およびテストセットに分割される。
少なくともいくつかの実装形態では、データセットは、以前のユーザによってウェブアプリケーション上にアップロードされた臨床のスタディにおいて作製される。アノテーションは、異なる画像上にユーザによって留置されることができる。以前に説かれたように、このデータセットは、訓練セット、検証セット、およびテストセットに分割される。
ニューラルネットワークは、上記で以前に説明され図８に示されるパイプラインを使用して、訓練されることができる。訓練セットから抽出されたデータのバッチは、ニューラルネットワークに順次供給される。ネットワーク予測と実際のランドマークロケーションとの間の損失の勾配が算定され、逆方向伝達されて（backpropagated）、ネットワークの固有パラメーターを更新する。他のモデルハイパーパラメーター（たとえば、ネットワークサイズ、形状）が、上記で論じられたように、ハイパーパラメーター探索を使用して選ばれる。
モデルアクセシビリティ
訓練されたモデルは、クラウドサービスの一部としてサーバ上に記憶されることができる。モデルは、いくつかのタイムポイントにおけるランドマークの検出を並列に成し遂げるために、推論時間に複数のサーバ上にロード可能である。このプロセスは、図９に示され上記で論じられたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅに使用される手法に類似している。
訓練されたモデルは、クラウドサービスの一部としてサーバ上に記憶されることができる。モデルは、いくつかのタイムポイントにおけるランドマークの検出を並列に成し遂げるために、推論時間に複数のサーバ上にロード可能である。このプロセスは、図９に示され上記で論じられたＤｅｅｐ Ｖｅｎｔｒｉｃｌｅに使用される手法に類似している。
ユーザ対話
心臓ＭＲＩがウェブアプリケーションにアップロードされるとき、ユーザは、「心臓」セクションの下の「ビュー」ボタンを選択することができる。これは、「ランドマークを配置する」ボタンを用いて、画像の右に新しいパネルを開く。このボタンを選択することは、あらゆるタイムポイントにおけるあらゆる３Ｄ画像上で６つのランドマークを自動的に配置する。配置されたランドマークのリストが、右パネル上で視認可能である。ランドマーク名を選択することは、画像のフォーカスを、予測されたランドマークロケーションにもたらし、ユーザは、必要とみなされる任意の修正をなすことが可能にされる。ユーザが満足すると、ユーザは、心臓の標準的な２チャンバビュー、３チャンバビュー、４チャンバビュー、およびＳＡＸビューを作成する「標準ビュー」ボタンを選択することができる。
心臓ＭＲＩがウェブアプリケーションにアップロードされるとき、ユーザは、「心臓」セクションの下の「ビュー」ボタンを選択することができる。これは、「ランドマークを配置する」ボタンを用いて、画像の右に新しいパネルを開く。このボタンを選択することは、あらゆるタイムポイントにおけるあらゆる３Ｄ画像上で６つのランドマークを自動的に配置する。配置されたランドマークのリストが、右パネル上で視認可能である。ランドマーク名を選択することは、画像のフォーカスを、予測されたランドマークロケーションにもたらし、ユーザは、必要とみなされる任意の修正をなすことが可能にされる。ユーザが満足すると、ユーザは、心臓の標準的な２チャンバビュー、３チャンバビュー、４チャンバビュー、およびＳＡＸビューを作成する「標準ビュー」ボタンを選択することができる。
少なくともいくつかの実装形態では、獲得された３Ｄ画像は、４Ｄ Ｆｌｏｗシーケンスである。これは、信号の位相も獲得され、４つの異なるビューを示す図３４の画像３４００に示されるように、心臓および動脈内の血流の速度を定量化するために使用され得ることを意味する。この情報は、心臓の異なるランドマークを配置するのに有用であり得る。このケースでは、以前に説明されたモデルが、フロー情報を含むように補強されることができる。
画像前処理
４Ｄ Ｆｌｏｗでは、あらゆる患者に対する獲得のあらゆるタイムポイントにおける流速情報が利用可能である。この情報を十分に生かすために、時間軸に沿った標準偏差が、３Ｄ画像のあらゆるボクセルにおいて算定されることができる。標準偏差大きさは、１つの心拍の間のそのピクセルの血流変動の量と関連づけられる。次いで、この標準偏差画像は、以前に説明された正規化パイプライン、すなわち、サイズ変更、クリッピング、スケーリング、ヒストグラム等化、センタリングに従って正規化される。フローデータの時間的情報を符号化するために、いくつかの他の手法が考えられ得ることに留意されたい。たとえば、４Ｄ信号のフーリエ変換が、最後の次元に沿って算定されてよく、さまざまな周波数ビンが、信号を符号化するために使用されてよい。より一般に、追加の算定およびメモリパワーを必要とするという犠牲を払って、時系列全体がネットワークに入力されてよい。
４Ｄ Ｆｌｏｗでは、あらゆる患者に対する獲得のあらゆるタイムポイントにおける流速情報が利用可能である。この情報を十分に生かすために、時間軸に沿った標準偏差が、３Ｄ画像のあらゆるボクセルにおいて算定されることができる。標準偏差大きさは、１つの心拍の間のそのピクセルの血流変動の量と関連づけられる。次いで、この標準偏差画像は、以前に説明された正規化パイプライン、すなわち、サイズ変更、クリッピング、スケーリング、ヒストグラム等化、センタリングに従って正規化される。フローデータの時間的情報を符号化するために、いくつかの他の手法が考えられ得ることに留意されたい。たとえば、４Ｄ信号のフーリエ変換が、最後の次元に沿って算定されてよく、さまざまな周波数ビンが、信号を符号化するために使用されてよい。より一般に、追加の算定およびメモリパワーを必要とするという犠牲を払って、時系列全体がネットワークに入力されてよい。
ネットワーク伸張
ニューラルネットワークへの入力は、追加のチャネルを用いて伸張されてもよい。より正確には、最後の次元が解剖学的ピクセル強度とフロー大きさまたは速度の成分を別個のチャネルとして符号化する４次元（４Ｄ）テンソルが定義されてよい。上記で説明されたネットワークは、そのようなテンソルを入力として受け入れるように伸張されてよい。これは、４Ｄテンソルを受け入れるために第１の層の伸張を必要とする。ネットワーク訓練、推論、およびユーザ対話の後続ステップは、以前に説明されたものに類似したままである。
ニューラルネットワークへの入力は、追加のチャネルを用いて伸張されてもよい。より正確には、最後の次元が解剖学的ピクセル強度とフロー大きさまたは速度の成分を別個のチャネルとして符号化する４次元（４Ｄ）テンソルが定義されてよい。上記で説明されたネットワークは、そのようなテンソルを入力として受け入れるように伸張されてよい。これは、４Ｄテンソルを受け入れるために第１の層の伸張を必要とする。ネットワーク訓練、推論、およびユーザ対話の後続ステップは、以前に説明されたものに類似したままである。
少なくともいくつかの実装形態では、心臓ランドマークの自動ロケーションは、異なるランドマークの座標（ｘ，ｙ，ｚ）を直接的に予測することによって達成されることができる。そのため、異なるネットワークアーキテクチャが使用されてよい。この代替ネットワークは、各ランドマークのための出力として（ｘ，ｙ，ｚ）座標の長さ３のベクトルを有する、いくつかの十分に接続された層に続かれる収縮用経路から構成されてよい。これは、セグメンテーションネットワークというよりむしろ、回帰である。回帰ネットワークでは、セグメンテーションネットワーク内とは異なり、ネットワーク内に膨張用経路がないことに留意されたい。他のアーキテクチャも、同じ出力フォーマットで使用されてよい。少なくともいくつかの実装形態では、４Ｄデータ（ｘ，ｙ，ｚ，時間）が入力として与えられる場合、時間が、第４の次元として出力に含まれてもよい。
時間が組み込まれていないと仮定して、ネットワークの出力は、入力画像内の６つのランドマークの各々に対する３つの座標に対応する１８のスカラである。そのようなアーキテクチャは、以前に説明されたランドマーク検出器と類似した様式で訓練されてよい。必要とされる唯一の更新は、ネットワーク出力フォーマット（第１の実装形態において使用される確率マップとは対照的に、この実装形態では空間的点）の変更を計上する損失の再定式化である。１つの妥当な損失関数は、ネットワークの出力と実際のランドマーク座標との間のＬ２（二乗）距離であってよいが、損失関数が対象となる量、すなわち距離誤差に関連する限り、他の損失関数も使用されてよい。
上記で論じられた第１のランドマーク検出実装形態はまた、判別器ネットワークとして機能する第２のニューラルネットワークを使用して伸張されてよい。判別器ネットワークは、良好で現実的なランドマークロケーションを悪い非現実的なものと区別するために訓練され得る。この定式化において、実装形態の初期ネットワークは、たとえば、予測されるランドマーク確率分布のすべての極大値を使用することによって、各タイプのランドマークに対していくつかのランドマーク提案を生成するために使用されてよい。次いで、判別器ネットワークは、たとえば、ランドマーク提案を中心とされた高解像度パッチ上で分類アーキテクチャを使用することによって、各提案を評定してよい。次いで、真のランドマークである最も高い確率を有する提案が、出力とみなされ得る。この実装形態は、場合によっては、曖昧な状況で、たとえば、ノイズまたはアーチファクトの存在下で、正しいランドマークロケーションを選ぶのに役立つことができる。
心臓ランドマークの検出のための別の手法は、強化学習の使用である。この異なるフレームワークでは、３Ｄ画像に沿って歩くエージェントが考えられる。エージェントは、最初に、画像の中心に留置される。次いで、エージェントは、エージェントがランドマークの位置に達するまでポリシーに従う。ポリシーは、左、右、上、下、上方、または下方へ一歩進む各ステップにおけるエージェントの意思決断プロセスを表す。このポリシーは、Ｑ学習アルゴリズムを使用する状態アクション関数Ｑに関するベルマン方程式を近似するディープニューラルネットワークを使用して学習され得る。次いで、１つのＱ関数が、検出されることになるランドマークの各々に関して学習可能である。
少なくともいくつかの実装形態では、ニューラルネットワークは、標準的なビューに関する平面のロケーションおよび方位を定義するパラメーターを直接的に予測するために使用されることができる。たとえば、ネットワークは、開始ピクセルグリッドを長軸ビューに移動させるために必要とされる３Ｄ回転角度、平行移動、および再スケーリングを計算するように訓練されることができる。別個のモデルが、異なる変形を予測するように訓練されてもよいし、単一のモデルが、いくつかのビューを出力するために使用されてもよい。
手動ＬＶ／ＲＶボリュームのための弁平面を定義するためのインタフェース
左心室および右心室のより正確なセグメンテーションを有するために、心臓の弁の位置および方位を識別することが有利なことができる。少なくともいくつかの実装形態では、前述の心室セグメンテーションインタフェース内で、ユーザは、利用可能な長軸ビューを使用して弁平面上にある点をマーキングすることが可能である。弁平面は、最も良く適合する平面を発見するために回帰を実行することによって、これらの入力点から決定される。平面の法線は、心室の心尖から離れた点に設定される。平面が定義されると、正側にある容積のどんな部分でも、心室のための全容積から減算される。これは、心室の分量を決定する際に何も弁の外側に含まれないことを保証する。
左心室および右心室のより正確なセグメンテーションを有するために、心臓の弁の位置および方位を識別することが有利なことができる。少なくともいくつかの実装形態では、前述の心室セグメンテーションインタフェース内で、ユーザは、利用可能な長軸ビューを使用して弁平面上にある点をマーキングすることが可能である。弁平面は、最も良く適合する平面を発見するために回帰を実行することによって、これらの入力点から決定される。平面の法線は、心室の心尖から離れた点に設定される。平面が定義されると、正側にある容積のどんな部分でも、心室のための全容積から減算される。これは、心室の分量を決定する際に何も弁の外側に含まれないことを保証する。
例となるプロセッサベースのデバイス
図３５は、本明細書において説明されるさまざまな機能を実装するのに適したプロセッサベースのデバイス３５０４を含む環境３５００を示す。必須ではないが、実装形態のいくつかの部分は、１つまたは複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、またはマクロなどの、プロセッサ実行可能命令または論理の一般的な文脈で説明される。当業者は、説明される実装形態、ならびに他の実装形態が、スマートフォンおよびタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む、さまざまなプロセッサベースのシステム構成とともに実施可能であることを諒解するであろう。
図３５は、本明細書において説明されるさまざまな機能を実装するのに適したプロセッサベースのデバイス３５０４を含む環境３５００を示す。必須ではないが、実装形態のいくつかの部分は、１つまたは複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、またはマクロなどの、プロセッサ実行可能命令または論理の一般的な文脈で説明される。当業者は、説明される実装形態、ならびに他の実装形態が、スマートフォンおよびタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む、さまざまなプロセッサベースのシステム構成とともに実施可能であることを諒解するであろう。
プロセッサベースのデバイス３５０４は、１つまたは複数のプロセッサ３５０６と、システムメモリ３５０８と、システムメモリ３５０８を含むさまざまなシステム構成要素をプロセッサ３５０６に結合するシステムバス３５１０とを含むことができる。プロセッサベースのデバイス３５０４は、本明細書においては単数で参照されるときがあるが、いくつかの実装形態では、関与される複数のシステムまたは他のネットワークコンピューティングデバイスがあるので、これは、実装形態を単一のシステムに制限することを意図したものではない。市販のシステムの制限でない例は、限定するものではないが、さまざまな製造業者のＡＲＭプロセッサ、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ， Ｕ．Ｓ．Ａ．のＣｏｒｅマイクロプロセッサ、ＩＢＭのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．のＳｐａｒｃマイクロプロセッサ、Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ ＣｏｍｐａｎｙのＰＡ−ＲＩＳＣシリーズマイクロプロセッサ、Ｍｏｔｏｒｏｌａ Ｃｏｒｐｏｒａｔｉｏｎの６８ｘｘｘシリーズマイクロプロセッサを含む。
プロセッサ３５０６は、１つまたは複数の中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの任意の論理処理ユニットであってよい。別段に説明されない限り、図３５に示されるさまざまなブロックの構造および動作は、従来の設計のものである。その結果、そのようなブロックは、それらが当業者によって理解されるので、本明細書においてさらに詳しく説明される必要はない。
システムバス３５１０は、メモリコントローラを有するメモリバス、周辺バス、およびローカルバスを含む、任意の既知のバス構造またはアーキテクチャを用いることができる。システムメモリ３５０８は、読み出し専用メモリ（「ＲＯＭ」）１０１２およびランダムアクセスメモリ（「ＲＡＭ」）３５１５を含む。ＲＯＭ３５１２の一部を形成することができる基本入出力システム（「ＢＩＯＳ」）３５１６は、スタートアップの間などに、プロセッサベースのデバイス３５０４内の要素間で情報を転送する助けとなる基本ルーチンを含む。いくつかの実装形態は、データ、命令、および電力のために別個のバスを用いることができる。
プロセッサベースのデバイス３５０４は、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性ストレージをプロセッサベースのデバイス３５０４に提供する１つまたは複数のソリッドステートメモリ、たとえば、フラッシュメモリまたはソリッドステートドライブも含んでよい。描かれてはいないが、プロセッサベースのデバイス３５０４は、他の非一時的なコンピュータ可読媒体またはプロセッサ可読媒体、たとえば、ハードディスクドライブ、光ディスクドライブ、またはメモリカード媒体ドライブを用いることができる。
オペレーティングシステム３５３０、１つまたは複数のアプリケーションプログラム３５３２、他のプログラムまたはモジュール３５３４、ドライバ３５３６、およびプログラムデータ３５３８などのプログラムモジュールは、システムメモリ３５０８に記憶可能である。
アプリケーションプログラム３５３２は、たとえば、パニング／スクローリング３５３２ａを含むことができる。そのようなパニング／スクローリング論理は、限定するものではないが、いつおよび／またはどこでポインタ（たとえば、指、スタイラス、カーソル）が、中心部分と少なくとも１つの縁とを有する領域を含むユーザインタフェース要素に入力したかを決定する論理を含むことができる。そのようなパニング／スクローリング論理は、限定するものではないが、ユーザインタフェース要素の少なくとも１つの要素が移動するように見えるべきである方向および率を決定し、表示の更新を引き起こさせ、少なくとも１つの要素を、決定された方向に決定された率で移動するように見えさせる論理を含むことができる。パニング／スクローリング論理３５３２ａは、たとえば、１つまたは複数の実行可能な命令として記憶されることができる。パニング／スクローリング論理３５３２ａは、ポインタの移動を特徴づけるデータ、たとえばタッチセンシティブディスプレイからまたはコンピュータマウスもしくはトラックボール、もしくは他のユーザインタフェースデバイスからのデータを使用してユーザインタフェースオブジェクトを生成する、プロセッサ実行可能および／または機械実行可能な論理または命令を含むことができる。
システムメモリ３５０８は、プロセッサベースのデバイス３５０４が、ユーザコンピューティングシステム、インターネット上のウェブサイト、企業イントラネットなどの他のシステム、または以下で説明される他のネットワークにアクセスして、これらとデータを交換することを可能にするための、通信プログラム３５４０、たとえばサーバおよび／またはウェブクライアントもしくはブラウザも含むことができる。描かれた実装形態における通信プログラム３５４０は、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、またはワイヤレスマークアップ言語（ＷＭＬ）などのマークアップ言語ベースであり、ドキュメントのデータに追加された構文的に区切られた文字を使用してドキュメントの構造を表すマークアップ言語を用いて動作する。ＣａｌｉｆｏｒｎｉａのＭｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎおよびＷａｓｈｉｎｇｔｏｎのＭｉｃｒｏｓｏｆｔのそれらなどの、いくつかのサーバおよび／またはウェブクライアントもしくはブラウザが、市販されている。
図３５ではシステムメモリ３５０８に記憶されるように示されているが、オペレーティングシステム３５３０、アプリケーションプログラム３５３２、他のプログラム／モジュール３５３４、ドライバ３５３６、プログラムデータ３５３８、ならびにサーバおよび／または通信プログラム３５４０（たとえば、ブラウザ）は、他の任意の多種多様な非一時的なプロセッサ可読媒体（たとえば、ハードディスクドライブ、光ディスクドライブ、ＳＳＤ、および／またはフラッシュメモリ）上に記憶可能である。
ユーザは、ポインタを介して、たとえば、指３５４４ａ、スタイラス３５４４ｂを介するタッチスクリーン３５４８などの入力デバイスを通して、またはカーソルを制御するコンピュータマウスもしくはトラックボール３５４４ｃを介して、コマンドおよび情報を入力することができる。他の入力デバイスは、マイクロホン、ジョイスティック、ゲームパッド、タブレット、スキャナ、バイオメトリックスキャニングデバイスなどを含むことができる。これらおよび他の入力デバイス（すなわち、「Ｉ／Ｏデバイス」）は、ユーザ入力をシステムバス３５１０に結合するタッチスクリーンコントローラおよび／またはユニバーサルシリアルバス（「ＵＳＢ」）インタフェースなどのインタフェース３５４６を通じてプロセッサ３５０６に接続されるが、パラレルポート、ゲームポート、またはワイヤレスインタフェース、またはシリアルポートなどの他のインタフェースが使用されてよい。タッチスクリーン３５４８は、タッチスクリーン３５４８を介した表示のための画像データまたは画像情報を受信するためのビデオアダプタなどのビデオインタフェース３５５０を介して、システムバス３５１０に結合可能である。図示されていないが、プロセッサベースのデバイス３５０４は、スピーカ、バイブレータ、ハプティックアクチュエータなどの他の出力デバイスを含むことができる。
プロセッサベースのデバイス３５０４は、１つまたは複数の通信チャネル、たとえば、１つまたは複数のネットワーク３５１４ａ、３５１４ｂを介して１つまたは複数のリモートコンピュータ、サーバ、および／またはデバイスと通信するための論理接続のうちの１つまたは複数を使用して、ネットワーク化された環境において動作することができる。これらの論理接続は、１つまたは複数のＬＡＮおよび／またはインターネットなどのＷＡＮ、および／またはセルラー通信ネットワークなどを通して、コンピュータが通信することを可能にする任意の既知の方法を容易にすることができる。そのようなネットワーキング環境は、ワイヤードエンタープライズ規模コンピュータネットワークおよびワイヤレスエンタープライズ規模コンピュータネットワーク、イントラネット、エクストラネット、インターネット、ならびに電気通信ネットワーク、セルラーネットワーク、ページングネットワーク、および他のモバイルネットワークを含む他のタイプの通信ネットワークにおいてよく知られている。
ネットワーキング環境において使用されるとき、プロセッサベースのデバイス３５０４は、ネットワーク、たとえばインターネット３５１４ａまたはセルラーネットワーク３５１４ｂ上での通信を確立するための、１つまたは複数のワイヤード通信インタフェースまたはワイヤレス通信インタフェース３５５２ａ、３５５２ｂ（たとえば、セルラー無線、ＷＩ−ＦＩ無線、ブルートゥース無線）を含むことができる。
ネットワーク化された環境では、プログラムモジュール、アプリケーションプログラム、またはデータ、またはそれらの部分は、サーバコンピューティングシステム（図示せず）に記憶可能である。当業者は、図３５に示されるネットワーク接続が、コンピュータ間の通信を確立するやり方のいくつかの例にすぎず、ワイヤレスを含む他の接続が使用されてよいことを認識するであろう。
便宜上、プロセッサ３５０６、システムメモリ３５０８、ネットワークおよび通信インタフェース３５５２ａ、３５５２ｂは、システムバス３５１０を介して互いに通信可能に結合されるように図示されており、それによって、上記で説明された構成要素間の接続性を提供する。プロセッサベースのデバイス３５０４の代替実装形態では、上記で説明された構成要素は、図３５に図示されるのと異なる仕方で通信可能に結合されてよい。たとえば、上記で説明された構成要素のうちの１つまたは複数は、他の構成要素に直接的に結合されてもよいし、中間構成要素（図示せず）を介して互いに結合されてもよい。いくつかの実装形態では、システムバス３５１０は省略され、構成要素は、適切な接続を使用して互いに直接的に結合される。
Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅ
心臓磁気共鳴（ＣＭＲ）の画像法は、通例、心臓構造および機能を評価するために使用される。ＣＭＲの１つの欠点は、試験の後処理が冗漫であることである。自動化なしに、ＣＭＲを介した心機能の正確な評価は、一般的には、アノテーション付与者が心室構造を手動で輪郭描出するのにケースあたり数十分を費やすことを必要とする。自動輪郭描出は、アノテーション付与者によって軽く修正可能な輪郭示唆を生成することによって、患者あたりに必要とされる時間を低下させることができる。畳み込みニューラルネットワークの変形である全層畳み込みネットワーク（ＦＣＮ）は、自動化されたセグメンテーションにおける開始状態を急速に前進させるために使用されており、これは、ＦＣＮを、心室セグメンテーションに対して当然の選択肢にする。しかしながら、ＦＣＮは、それらの算定費用によって制限され、このことは、金銭的費用を増加させ、生産システムのユーザエクスペリエンスを劣化させる。この欠点と戦うために、本発明者らは、最近開発されたＥＮｅｔアーキテクチャに基づいて心室セグメンテーションのためのＦＣＮアーキテクチャであるＦａｓｔ Ｖｅｎｔｒｉｃｌｅアーキテクチャを開発した。Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅは、優れた臨床上の正確さを依然として維持しながら、以前の最先端の心室セグメンテーションアーキテクチャよりも４倍速く、６分の１のメモリで実行する。
心臓磁気共鳴（ＣＭＲ）の画像法は、通例、心臓構造および機能を評価するために使用される。ＣＭＲの１つの欠点は、試験の後処理が冗漫であることである。自動化なしに、ＣＭＲを介した心機能の正確な評価は、一般的には、アノテーション付与者が心室構造を手動で輪郭描出するのにケースあたり数十分を費やすことを必要とする。自動輪郭描出は、アノテーション付与者によって軽く修正可能な輪郭示唆を生成することによって、患者あたりに必要とされる時間を低下させることができる。畳み込みニューラルネットワークの変形である全層畳み込みネットワーク（ＦＣＮ）は、自動化されたセグメンテーションにおける開始状態を急速に前進させるために使用されており、これは、ＦＣＮを、心室セグメンテーションに対して当然の選択肢にする。しかしながら、ＦＣＮは、それらの算定費用によって制限され、このことは、金銭的費用を増加させ、生産システムのユーザエクスペリエンスを劣化させる。この欠点と戦うために、本発明者らは、最近開発されたＥＮｅｔアーキテクチャに基づいて心室セグメンテーションのためのＦＣＮアーキテクチャであるＦａｓｔ Ｖｅｎｔｒｉｃｌｅアーキテクチャを開発した。Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅは、優れた臨床上の正確さを依然として維持しながら、以前の最先端の心室セグメンテーションアーキテクチャよりも４倍速く、６分の１のメモリで実行する。
Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅ−序論
心血管疾患をもつことが知られているまたは疑われる患者は、多くの場合、心機能を評定するために心臓ＭＲＩを受ける。これらのスキャンは、収縮末期（ＥＳ）および拡張末期（ＥＤ）における心臓ボリュームを計算するために、心室輪郭を用いてアノテーションが付与される。心臓ボリュームから、駆出分画および心筋の質量などの関連のある診断量が、計算可能である。手動輪郭膨出は、ケースあたり３０分の向上を得ることができ、そのため、放射線科医は、多くの場合、自動化ツールを使用して、プロセスをスピードアップする助けとする。
心血管疾患をもつことが知られているまたは疑われる患者は、多くの場合、心機能を評定するために心臓ＭＲＩを受ける。これらのスキャンは、収縮末期（ＥＳ）および拡張末期（ＥＤ）における心臓ボリュームを計算するために、心室輪郭を用いてアノテーションが付与される。心臓ボリュームから、駆出分画および心筋の質量などの関連のある診断量が、計算可能である。手動輪郭膨出は、ケースあたり３０分の向上を得ることができ、そのため、放射線科医は、多くの場合、自動化ツールを使用して、プロセスをスピードアップする助けとする。
図３６は、収縮用経路よりも小さい膨張用経路を利用するスキップ接続を有する全層畳み込みエンコーダ−デコーダアーキテクチャの概略表現を示す。
能動輪郭モデルは、心室のセグメンテーションのために以前から利用されているセグメンテーションに対する発見的教授法ベースの手法である（たとえば、非特許文献５および非特許文献６参照。）。しかしながら、能動輪郭ベースの方法は、低いコントラストを有する画像上で不十分に実行するだけでなく、それらは、初期化およびハイパーパラメーター値に対して感度が高い。セグメンテーションのためのディープラーニング方法は、最近、ＦＣＮ（全層畳み込みネットワーク）の使用を有する最新技術を定義した（たとえば、非特許文献７参照。）。ＦＣＮの後ろにある一般的なアイデアは、アップサンプリング経路が続く、さまざまな空間的スケールにおける関連のある特徴を学習するダウンサンプリング経路を使用して、ピクセル単位予測のための特徴を組み合わせることである（図３６参照）。ＤｅｃｏｎｖＮｅｔが、より長い訓練および推論時間の費用ならびにより大きな算定リソースのための必要性を犠牲にした、より詳細なセグメンテーションのための対称的な収縮用−膨張用アーキテクチャの使用の先駆者となった（たとえば、非特許文献８参照。）。元は多くの場合より少数の訓練画像およびさらに細かい解像度がある生物医学的コミュニティにおける使用のために開発されたＵ−Ｎｅｔが必要とされ、詳細を維持するための収縮用経路と膨張用経路との間のスキップ接続の使用が追加される（たとえば、非特許文献９参照。）。
ダウンサンプリング層とアップサンプリング層との間に１対１対応がある完全に対称的なアーキテクチャの１つの欠点は、特に大きな入力画像の場合、それらが減速することができることである。代替ＦＣＮ設計であるＥＮｅｔは、スピードのために最適化された非対称的アーキテクチャである（たとえば、非特許文献１０参照。）。ＥＮｅｔは、早期ダウンサンプリングを利用して、数個の特徴マップのみを使用して入力サイズを減少させる。これは、画像がフル解像度であるときにネットワークの算定負荷のほとんどが発生するとすれば、スピードを改善し、この段階における視覚情報のほとんどは冗長であるので、正確さに対して最小の影響を有する。そのうえ、ＥＮｅｔ著者らは、ＦＣＮにおける膨張用経路の主な目的は、複雑化されたアップサンプリング特徴を学習することではなく、収縮用経路によって学習される詳細をアップサンプリングおよび微調整することであることを示している。したがって、ＥＮｅｔは、その収縮用経路よりも小さい膨張用経路を利用する。ＥＮｅｔは、より大きいカーネルが適用可能であるより低次元の空間へと特徴マップを投影するために適用される小さい受信フィールドを用いた畳み込みであるボトルネックモジュールも利用する（たとえば、非特許文献１１参照。）。ボトルネックは、すぐ上記で参照されたＨｅ，Ｋ．論文の趣旨における残差接続も含む。ＥＮｅｔは、ゼロまたはそれ以上のプーリング層のみを含むボトルネック経路と平行な経路も使用して、より高い解像度層からより低い解像度層に情報を直接的に渡す。最後に、ネットワーク全体を通じて、ＥＮｅｔは、低費用畳み込み演算の多様性を活かす。より高価なｎ×ｎ畳み込みに加えて、ＥＮｅｔは、より安価な非対称（１×ｎおよびｎ×１）畳み込みと、拡張された畳み込みも使用する（たとえば、非特許文献１２参照。）。
ディープラーニングは、心室セグメンテーションにうまく適用されてきた（たとえば、非特許文献１３および非特許文献１４参照。）。ここで、本発明者らは、ＬＶ心内膜、ＬＶ心外膜、およびＲＶ心内膜のセグメンテーションのためのＵＮｅｔスタイルスキップ接続を有するＥＮｅｔ変形形態であるＦａｓｔ Ｖｅｎｔｒｉｃｌｅを提示する。より具体的には、本発明者らは、画像サイズが類似している場合に収縮用経路から膨張用経路にスキップ接続を使用する可能性を追加した。詳細に、本発明者らは、初期ブロックの出力とセクション５の入力との間、およびセクション１の出力とセクション４の入力との間のスキップ接続を追加した（セクションの名称については、上記で参照された非特許文献１０参照。）。本開示では、本発明者らは、Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅを以前のＵＮｅｔ変形であるＤｅｅｐ Ｖｅｎｔｒｉｃｌｅと比較した（たとえば、非特許文献１５参照。）。本発明者らは、Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅを用いた推論が、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅを用いた推論よりも著しく少ない時間およびメモリを必要とし、Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅが、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅのそれと区別できないセグメンテーション正確さを達成することを示す。
ＦａｓｔＶｅｎｔｒｉｃｌｅ−方法
訓練データ。本発明者らは、パートナー機関において標準的な臨床ケアの一部としてアノテーション付与された１１４３の短軸シネ定常自由歳差運動（ＳＳＦＰ）スキャンのデータベースを使用して、本発明者らのモデルを訓練および検証する。本発明者らは、データを時間の経過順に、訓練に８０％、検証に１０％、ホールドアウトセットとして１０％を分割した。本開示のこのセクションにおいて論じられるすべての実験は、検証セットを使用する。アノテーション付与された輪郭タイプは、ＬＶ心内膜、ＬＶ心外膜、およびＲＶ心内膜を含む。スキャンは、ＥＤおよびＥＳにおいてアノテーション付与される。輪郭は、異なる頻度でアノテーション付与された。スキャンの９６％（１０９７）はＬＶ心内膜の輪郭を有し、２２％（２４７）はＬＶ心外膜輪郭を有し、８５％（９６６）はＲＶ心内膜の輪郭を有する。
訓練データ。本発明者らは、パートナー機関において標準的な臨床ケアの一部としてアノテーション付与された１１４３の短軸シネ定常自由歳差運動（ＳＳＦＰ）スキャンのデータベースを使用して、本発明者らのモデルを訓練および検証する。本発明者らは、データを時間の経過順に、訓練に８０％、検証に１０％、ホールドアウトセットとして１０％を分割した。本開示のこのセクションにおいて論じられるすべての実験は、検証セットを使用する。アノテーション付与された輪郭タイプは、ＬＶ心内膜、ＬＶ心外膜、およびＲＶ心内膜を含む。スキャンは、ＥＤおよびＥＳにおいてアノテーション付与される。輪郭は、異なる頻度でアノテーション付与された。スキャンの９６％（１０９７）はＬＶ心内膜の輪郭を有し、２２％（２４７）はＬＶ心外膜輪郭を有し、８５％（９６６）はＲＶ心内膜の輪郭を有する。
訓練。少なくともいくつかの実装形態では、本発明者らは、バックエンドとしてＴｅｎｓｏｒＦｌｏｗを有するＫｅｒａｓディープラーニングパッケージを使用して、本発明者らのモデルのすべてを実施および訓練するが、他のディープラーニングパッケージも十分であろう（たとえば、非特許文献１６および非特許文献１７参照。）。本発明者らは、本発明者らのデータセット内の欠落したグラウンドトゥルースアノテーションを計上するように、標準的なピクセルあたりのクロスエントロピー損失を修正する。本発明者らは、グラウンドトゥルースが欠落している画像に対して計算される損失の構成要素を破棄する。本発明者らは、グラウンドトゥルースが既知である損失の構成要素のみを逆方向伝達する。これは、本発明者らが、欠落した輪郭を有する系列を含む、本発明者らのフル訓練データセットに対して訓練することを可能にする。少なくともいくつかの実装形態では、重みは、Ａｄａｍルールあたりに更新された（たとえば、非特許文献１８参照。）。少なくともいくつかの実装形態では、本発明者らは、ピクセルあたりの正確さを監視して、いつモデルが収束したかを決定する。ボリューム正確さは、正確な導出された診断量にとって最も重要であるので、異なるモデルを比較するために、本発明者らは、相対的絶対ボリューム誤差（ＲＡＶＥ）を使用する。ＲＡＶＥは、｜Ｖｐｒｅｄ−Ｖｔｒｕｔｈ｜／Ｖｔｒｕｔｈとして定義され、ここで、Ｖｔｒｕｔｈはグラウンドトゥルースボリューム、Ｖｐｒｅｄは、集められた２Ｄ予測セグメンテーションマスクから算定された容積である。相対的メトリックを使用することは、等しい重みが、小児の心臓と成人の心臓に与えられることを保証する。ボリュームは、錐台近似を使用してセグメンテーションマスクから計算され得る。
データ前処理。少なくともいくつかの実装形態では、本発明者らは、画像のバッチの第１パーセンタイルおよび第９９パーセンタイルが−０．５および０．５である、すなわち、それらの「使用可能範囲」が−０．５から０．５の間であるように、すべてのＭＲＩを正規化する。適応ヒストグラム等化などの他の正規化スキームも可能である。本発明者らは、心室輪郭が画像のより大きなパーセンテージを占めるように、画像を切り取り、サイズ変更する。実際の切り取り要因およびサイズ変更要因は、ハイパーパラメーターである。画像を切り取ることは、前景（心室）クラスによって占められる画像の割合を増加させ、細部を解像することをより簡単にし、モデル収束を助ける。
図３７は、ＥＤ（左パネル）およびＥＳ（右パネル）におけるＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、およびＲＶ Ｅｎｄｏの各々に対するＦａｓｔ ＶｅｎｔｒｉｃｌｅとＤｅｅｐ Ｖｅｎｔｒｉｃｌｅとの間で相対的絶対ボリューム誤差（ＲＡＶＥ）を比較する箱ひげ図を示す。箱の中心における線は中央値ＲＡＶＥを意味し、箱の端は、分散の２５％（Ｑ１）および７５％（Ｑ３）を示す。ひげは、Ｍａｔｐｌｏｔｌｉｂデフォルトに従って定義される。
ハイパーパラメーター探索。本発明者らは、ランダムハイパーパラメーター探索を使用してＥＮｅｔネットワークアーキテクチャおよびＵＮｅｔネットワークアーキテクチャを調整する。（たとえば、非特許文献１９参照。）。実際には、ＵＮｅｔアーキテクチャおよびＥＮｅｔアーキテクチャの各々に対して、本発明者らは、ｉ）固定数のエポックのためのハイパーパラメーターのランダムセットとともにモデルを実行し、ｉｉ）モデルの結果として生成されるコーパスから、最も高い検証セット正確さを有するＮ個のモデルを選択し（ここで、Ｎは、本発明者らが前もって合意した小さい整数である）、ｉｉｉ）最も低い平均ＲＡＶＥに基づいて、Ｎ個の候補から最終モデルを選択する。少なくともいくつかの実装形態では、ＵＮｅｔアーキテクチャのハイパーパラメーターは、バッチ正規化の使用、ドロップアウト確率、畳み込み層の数、初期フィルタの数、およびプーリング層の数を含む。少なくともいくつかの実装形態では、ＥＮｅｔアーキテクチャのハイパーパラメーターは、非対称畳み込みに対するカーネルサイズ、ネットワークのセクション２が繰り返される回数、初期ボトルネックモジュールの数、初期フィルタの数、投影比、ドロップアウト確率、およびスキップ接続を使用するかどうかを含む（これらのパラメーターの詳細については、上記で参照された非特許文献１０参照。）。両方のアーキテクチャについて、少なくともいくつかの実装形態では、ハイパーパラメーターは、バッチサイズ、学習率、切り取り割合、および画像サイズも含む。
ＦａｓｔＶｅｎｔｒｉｃｌｅ−結果
これらの結果は、ＦａｓｔＶｅｎｔｒｉｃｌｅの単一の実施形態を説明し、異なる結果は、異なる設計パラメーターを用いて達成され得ることに留意されたい。
これらの結果は、ＦａｓｔＶｅｎｔｒｉｃｌｅの単一の実施形態を説明し、異なる結果は、異なる設計パラメーターを用いて達成され得ることに留意されたい。
ボリューム誤差分析。図３７は、心室構造（ＬＶ Ｅｎｄｏ、ＬＶ Ｅｐｉ、ＲＶ Ｅｎｄｏ）と位相（ＥＳ、ＥＤ）の各組み合わせに対するＤｅｅｐ ＶｅｎｔｒｉｃｌｅとＦａｓｔ Ｖｅｎｔｒｉｃｌｅを比較するＲＡＶＥの箱ひげ図を示し、サンプルサイズは以下の表２に指定されている。本発明者らは、モデルの性能が構造および位相にわたって非常に類似していることを発見した。実際、中央値ＲＡＶＥは、ｉ）ＬＶ ｅｎｄｏについて、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅの場合は４．５％、Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅの場合は５．５％、ｉ）ＬＶ ｅｐｉについて、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅの場合は５．６％、Ｆａｓｔ Ｖｅｎｔｒｉｃｌｅの場合は４．２％、ｉ）ＲＶ ｅｎｄｏについて、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅの場合は７．６％、ＦａｓｔＶｅｎｔｒｉｃｌｅの場合は９．０％である。ＥＳは、セグメンテーションされることになる領域がより小さいので、両方のモデルにとってより難しい位相であり、ＲＶ Ｅｎｄｏは、両方のモデルに対して、そのより複雑な形状により構造のうちで最も難しい。ＥＳアノテーションおよびＥＤアノテーションのみに対して訓練されるが、本発明者らは、すべてのタイムポイントで視覚的に満足する推論を実行することが可能である。図３９は、Ｄｅｅｐ ＶｅｎｔｒｉｃｌｅとＦａｓｔＶｅｎｔｒｉｃｌｅの両方のための低いＲＡＶＥを用いたスタディに対する異なるスライスおよびタイムポイント上のネットワーク予測の例を提示する。特に、図３９は、低いＲＡＶＥをもつ健康な患者（上）および肥大型心筋症をもつ患者（下）に対するＤｅｅｐ Ｖｅｎｔｒｉｃｌｅ予測およびＦａｓｔＶｅｎｔｒｉｃｌｅ予測を示す。ＲＶ ｅｎｄｏは赤色で、ＬＶ ｅｎｄｏは緑色で、ＬＶ ｅｐｉは青色で、輪郭が描かれる。グリッドのＸ軸は、心臓周期全体を通してサンプリングされた時間インデックスに対応し、Ｙ軸は、心尖（低いスライスインデックス）から基部（高いスライスインデックス）までサンプリングされたスライスインデックスに対応する。心室の心尖および中心におけるモデル性能は、それが、多くの場合、弁平面（心室を心房から分離する）が配置される単なる基部スライスと曖昧であるので、基部よりも良い。加えて、ＥＳにおけるチャンバはより小さく、暗い色の乳頭筋は、心臓が収縮されたときに心筋層と混ざる傾向があるので、ＥＤにおけるセグメンテーションは、ＥＳにおいてよりも良い傾向がある。
本発明者らは、最後に、ＥＮｅｔを使用すると、検証セット正確さに関するハイパーパラメーター探索における最も良い５つのモデルは、スキップ接続を使用しており、この問題に対するスキップ接続の値を実証することに留意する。
表１：ＤｅｅｐＶｅｎｔｒｉｃｌｅおよびＦａｓｔＶｅｎｔｒｉｃｌｅに対する正確さ、モデルスピード、および算定複雑度。１６のバッチサイズとともに計算された、サンプルあたりの推論時間および推論のために必要とされるＧＰＵメモリ。
統計分析。本発明者らは、位相と本発明者らがグラウンドトゥルースアノテーションを有する解剖学的構造との各組み合わせに対するＤｅｅｐＶｅｎｔｒｉｃｌｅのＲＡＶＥ分散とＦａｓｔＶｅｎｔｒｉｃｌｅのＲＡＶＥ分散との間の差の推計的有意性を測定する。本発明者らは、デフォルトパラメーターを有するＳｃｉＰｙ０．１７．０の実装を使用するウィルコクソン−マン−ホイットニー検定を使用して、Ｄｅｅｐ ＶｅｎｔｒｉｃｌｅのＲＡＶＥの分散とＦａｓｔＶｅｎｔｒｉｃｌｅのＲＡＶＥの分散とが等しいというヌル仮説を評価する。表２は、結果を表示する。本発明者らは、最も低い測定されたｐ−値が０．１であるので、１つのモデルを最良と主張する統計学的エビデンスがないことを発見した。
算定複雑度および推論スピード。臨床的および商業的に実用的であるために、任意の自動化されたアルゴリズムは、手動アノテーションよりも早くあるべきであり、容易に展開するのに十分に軽量である。上記の表１に見られるように、本発明者らは、ＦａｓｔＶｅｎｔｒｉｃｌｅのこの実施形態が、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅよりもほぼ４倍速く、６分の１のメモリを推論に使用することを発見した。モデルがより多くの層を含むので、ＦａｓｔＶｅｎｔｒｉｃｌｅは、推論を実行する準備が整う前に初期化するのに、より長くかかる。しかしながら、生産設定では、モデルは、サーバをプロビジョニングするときに一度初期化することのみを必要とし、そのため、この追加の費用は偶発的である。
内部表現。ニューラルネットワークは、ブラックボックスであるために評判が良くない、すなわち、「内側を見て」、なぜ特定の予測が行われているかを理解することは非常に難しい。これは、医師は、彼らが理解することができるツールを使用することを好むので、医療設定において特に厄介である。本発明者らは、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅが推論を実行するときに「探している」特徴を視覚化するために、非特許文献２０の結果に従う。ランダムノイズをモデル「入力」、現実のセグメンテーションマスクをターゲットとして始めて、本発明者らは、損失が最小にされるように入力画像内のピクセル値を更新するために、逆方向伝達を実行する。図３８は、Ｄｅｅｐ ＶｅｎｔｒｉｃｌｅおよびＦａｓｔＶｅｎｔｒｉｃｌｅに対するそのような最適化の結果を示す。本発明者らは、医師のように、心内膜が軽く、心外膜とのコントラストが高いときモデルがその予測に自信を持つことを発見した。モデルは、心臓を囲む解剖学的構造を無視することを学習したように思われる。本発明者らは、おそらく前者のモデルの方が大きく、入力画像のフル解像度でスキップ接続を利用するので、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅに対して最適化された入力が、ＦａｓｔＶｅｎｔｒｉｃｌｅの場合よりもノイズが少ないことにも留意した。Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅは、心室内部の乳頭筋のように見える構造を「想像する」ようにも思われる。
表２：本発明者らの検証セットに対する位相と心室解剖学的構造のあらゆる組み合わせについてＤｅｅｐ ＶｅｎｔｒｉｃｌｅとＦａｓｔ Ｖｅｎｔｒｉｃｌｅの本発明者らの比較のための、対応するサンプルサイズと一緒の、ウィルコクソン−マン−ホイットニー検定からのＵ統計量およびｐ−値。利用可能なデータがあれば、Ｄｅｅｐ ＶｅｎｔｒｉｃｌｅとＦａｓｔＶｅｎｔｒｉｃｌｅとの間に統計学的に優位な差は見られない。
図３８は、ラベルマップ（右、ＲＶ ｅｎｄｏは赤色、ＬＶ ｅｎｄｏは水色、ＬＶ ｅｐｉは青色）に合うようにＤｅｅｐ ＶｅｎｔｒｉｃｌｅおよびＦａｓｔＶｅｎｔｒｉｃｌｅ（中央）のための勾配降下を使用して最適化されたランダム入力（左）を示す。生成される画像は、心内膜と心外膜との間の高いコントラストおよび乳頭筋の存在などの、その予測を行うときにネットワークが「探している」多くの品質を有する。
ＦａｓｔＶｅｎｔｒｉｃｌｅ−考察
性能。正確さは、臨床的判断を行うときモデルの最も重要な性質であり得るが、アルゴリズム実行のスピードも、肯定的なユーザエクスペリエンスを維持し、インフラストラクチャ費用を最小にするのに重大である。本発明者らの経験の限度内で、本発明者らは、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅの正確さと４倍速いＦａｓｔＶｅｎｔｒｉｃｌｅのそれとの間に統計学的に有意な差を発見しなかった。これは、ＦａｓｔＶｅｎｔｒｉｃｌｅは、有害な影響なしに臨床設定においてＤｅｅｐ Ｖｅｎｔｒｉｃｌｅを置き換えることができることを示唆する。
性能。正確さは、臨床的判断を行うときモデルの最も重要な性質であり得るが、アルゴリズム実行のスピードも、肯定的なユーザエクスペリエンスを維持し、インフラストラクチャ費用を最小にするのに重大である。本発明者らの経験の限度内で、本発明者らは、Ｄｅｅｐ Ｖｅｎｔｒｉｃｌｅの正確さと４倍速いＦａｓｔＶｅｎｔｒｉｃｌｅのそれとの間に統計学的に有意な差を発見しなかった。これは、ＦａｓｔＶｅｎｔｒｉｃｌｅは、有害な影響なしに臨床設定においてＤｅｅｐ Ｖｅｎｔｒｉｃｌｅを置き換えることができることを示唆する。
ＦａｓｔＶｅｎｔｒｉｃｌｅ−結論
本発明者らは、スキップ接続を有する新しいＥＮｅｔベースのＦＣＮ、すなわちＦａｓｔＶｅｎｔｒｉｃｌｅは、心臓解剖学的構造の迅速で効率的なセグメンテーションに使用可能であることを示す。疎にアノテーション付与されたデータベース上で訓練されると、本発明者らのアルゴリズムは、駆出分画および心筋の質量などの重要な診断量を計算する目的で、ＬＶ ｅｎｄｏ輪郭、ＬＶ ｅｐｉ輪郭、およびＲＶ ｅｎｄｏ輪郭を臨床医に提供する。ＦａｓｔＶｅｎｔｒｉｃｌｅは、以前の最先端よりも４倍速く、６分の１のメモリで実行する。
本発明者らは、スキップ接続を有する新しいＥＮｅｔベースのＦＣＮ、すなわちＦａｓｔＶｅｎｔｒｉｃｌｅは、心臓解剖学的構造の迅速で効率的なセグメンテーションに使用可能であることを示す。疎にアノテーション付与されたデータベース上で訓練されると、本発明者らのアルゴリズムは、駆出分画および心筋の質量などの重要な診断量を計算する目的で、ＬＶ ｅｎｄｏ輪郭、ＬＶ ｅｐｉ輪郭、およびＲＶ ｅｎｄｏ輪郭を臨床医に提供する。ＦａｓｔＶｅｎｔｒｉｃｌｅは、以前の最先端よりも４倍速く、６分の１のメモリで実行する。
乳頭筋および肉柱筋の描写
２つの主な構造、すなわち、心筋の筋肉および心室の血液貯留（すなわち、心臓の心室における血液）は、心臓磁気共鳴を介して左心室を評価するときに主要な関心事である。これらの２つの構造の間にあるのは、心筋の筋肉と血液貯留との両方に当接する心臓の心室内の小さい筋肉である、乳頭筋および肉柱筋である。心室の血液貯留の分量を評価するとき、異なる機関は、乳頭筋および肉柱筋を、血液貯留の分量に含むべきであるかどうかについての異なるポリシーを有する。技術的に、血液ボリュームを評価するために、乳頭筋および肉柱筋は、血液貯留を定義する輪郭から除外されるべきである。しかしながら、心筋の筋肉の内側境界の比較的に規則的な形状ならびに乳頭筋および肉柱筋の比較的不規則な形状のために、便宜上、血液貯留を定義する輪郭は、多くの場合に、心筋の筋肉の内側境界であると仮定される。そのケースでは、乳頭筋および肉柱筋の容積は、血液貯留の容積に含まれ、血液貯留の容積の小さい過大見積もりにつながる。
２つの主な構造、すなわち、心筋の筋肉および心室の血液貯留（すなわち、心臓の心室における血液）は、心臓磁気共鳴を介して左心室を評価するときに主要な関心事である。これらの２つの構造の間にあるのは、心筋の筋肉と血液貯留との両方に当接する心臓の心室内の小さい筋肉である、乳頭筋および肉柱筋である。心室の血液貯留の分量を評価するとき、異なる機関は、乳頭筋および肉柱筋を、血液貯留の分量に含むべきであるかどうかについての異なるポリシーを有する。技術的に、血液ボリュームを評価するために、乳頭筋および肉柱筋は、血液貯留を定義する輪郭から除外されるべきである。しかしながら、心筋の筋肉の内側境界の比較的に規則的な形状ならびに乳頭筋および肉柱筋の比較的不規則な形状のために、便宜上、血液貯留を定義する輪郭は、多くの場合に、心筋の筋肉の内側境界であると仮定される。そのケースでは、乳頭筋および肉柱筋の容積は、血液貯留の容積に含まれ、血液貯留の容積の小さい過大見積もりにつながる。
図４０は、左心室を囲む心筋の筋肉４００２を含む、心臓解剖学的構造の関連のある部分を示す画像４０００である。左心室の血液貯留４００４も示されている。本明細書では心外膜輪郭４００６と呼ばれる、心外膜（すなわち、心臓の外面）の輪郭４００６は、左心室の心筋の筋肉の外部境界を定義する。本明細書では心内膜の輪郭と呼ばれる、心内膜（すなわち、左心室の血液貯留を心筋の筋肉から分離する表面）の輪郭４００８は、左心室心筋の筋肉の内側境界を定義する。図４０では、心内膜の輪郭４００８は、乳頭筋および肉柱筋４０１０を内部に含むことに留意されたい。乳頭筋および肉柱筋４０１０を心内膜の輪郭４００８の内部から除外することも有効であるであろう。
図４１は、乳頭筋および肉柱筋４１１０が心内膜の輪郭４１０８の内部に含まれているケースを示す画像４１００である。左心室を囲む心筋の筋肉４１０２も示されている。心内膜の輪郭４１０８が血液貯留４１０４の境界を構成するという仮定の下で、血液貯留の測定された容積は、容積が乳頭筋および肉柱筋４１１０をさらに含むので、やや過大見積もりになる。
図４２は、乳頭筋および肉柱筋４２１０が心内膜の輪郭４２０８から除外される代替ケースを示す画像４２００である。左心室を囲む心筋の筋肉４２０２および左心室の血液貯留４２０４も示されている。この場合、血液貯留の分量の推定値は、より正確であるが、輪郭４２０８は、著しく曲がりくねっており、手動で描画される場合、描写するのがより煩わしい。
乳頭筋および肉柱筋を輪郭の内部から除外しながら心内膜の境界を描写する自動化されたシステムは、非常に有用であり、したがって、システムは、アノテーション付与者からの最小な労力を用いた血液貯留の分量の正確な尺度を可能にする。しかしながら、そのようなシステムは、輪郭の描写が、人間解剖学的構造および磁気共鳴（ＭＲ）獲得パラメーターの変動に対する感度は高くないことを保証するために、高度な画像処理技法に依拠する必要がある。
心筋の性質の識別および局所化
心臓磁気共鳴によって実行することができる多くの種類のスタディがあり、各々は、心臓解剖学的構造または機能の異なる側面を評価し得る。コントラストなしの定常自由歳差運動（ＳＳＦＰ）の画像法は、心機能を定量化するために解剖学的構造を視覚化するために使用される。ガドリニウムベースのコントラストを使用する灌流画像法は、冠動脈狭窄のバイオマーカを識別するために使用される。ガドリニウムベースのコントラストも使用する遅延ガドリニウム造影画像法（late gadolinium enhancement imaging）が、心筋梗塞を評価するために使用される。これらのイメージングプロトコルのすべてにおいて、および他のものでも、解剖学的方位および輪郭描出の必要性は類似している傾向がある。画像は、一般的には、イメージング平面が左心室の短軸と平行である短軸方位と、イメージング平面が左心室の長軸と平行である長軸方位の両方において獲得される。心筋の筋肉および血液貯留を描写する輪郭は、３つのイメージングプロトコルすべてにおいて、心機能および解剖学的構造の異なる構成要素を評価するために使用される。
心臓磁気共鳴によって実行することができる多くの種類のスタディがあり、各々は、心臓解剖学的構造または機能の異なる側面を評価し得る。コントラストなしの定常自由歳差運動（ＳＳＦＰ）の画像法は、心機能を定量化するために解剖学的構造を視覚化するために使用される。ガドリニウムベースのコントラストを使用する灌流画像法は、冠動脈狭窄のバイオマーカを識別するために使用される。ガドリニウムベースのコントラストも使用する遅延ガドリニウム造影画像法（late gadolinium enhancement imaging）が、心筋梗塞を評価するために使用される。これらのイメージングプロトコルのすべてにおいて、および他のものでも、解剖学的方位および輪郭描出の必要性は類似している傾向がある。画像は、一般的には、イメージング平面が左心室の短軸と平行である短軸方位と、イメージング平面が左心室の長軸と平行である長軸方位の両方において獲得される。心筋の筋肉および血液貯留を描写する輪郭は、３つのイメージングプロトコルすべてにおいて、心機能および解剖学的構造の異なる構成要素を評価するために使用される。
これらのタイプのイメージングの各々のイメージングプロトコルに違いはあるが、血液貯留と心筋層との間の相対的コントラストは、大部分は一致している（心筋層は、血液貯留よりも色が暗い）。したがって、単一の畳み込みニューラルネットワーク（ＣＮＮ）モデルは、３つのイメージングプロトコルすべてにおいて心筋層および血液貯留を描写するために使用されることができる。各イメージングプロトコルに対して別個のＣＮＮを使用する代わりにこれらのイメージングプロトコルのすべてからのデータに対して同等に動作する単一のＣＮＮの使用は、実際にはＣＮＮモデルの管理および展開および実行を単純にする。しかしながら、グラウンドトゥルース輪郭を用いてアノテーション付与された画像データは、ＣＮＮが機能すると予想されるすべてのイメージングプロトコルの検証に必要とされる。
乳頭筋および肉柱筋の描写
図４３は、心室の血液貯留から乳頭筋および肉柱筋を自動的に描写するためのプロセス４３００の一実装形態を示す。最初は、心臓ＭＲＩの画像データ４３０２と、心筋層の内側および外側の境界を描写する初期の輪郭４３０４の両方が利用可能である。乳頭筋および肉柱筋は、初期左心室心内膜の輪郭の内部にある。すなわち、それらが、血液貯留に含まれ、心筋層から除外される。４３０６において、輪郭から、心筋層および血液貯留（乳頭筋および肉柱筋を含む）を定義するマスクが計算される。少なくともいくつかの実装形態では、心筋層および血液貯留を定義するマスクが、プロセス４３００の始まりにおいて利用可能であり、初期の輪郭４３０４から計算される必要はない。
図４３は、心室の血液貯留から乳頭筋および肉柱筋を自動的に描写するためのプロセス４３００の一実装形態を示す。最初は、心臓ＭＲＩの画像データ４３０２と、心筋層の内側および外側の境界を描写する初期の輪郭４３０４の両方が利用可能である。乳頭筋および肉柱筋は、初期左心室心内膜の輪郭の内部にある。すなわち、それらが、血液貯留に含まれ、心筋層から除外される。４３０６において、輪郭から、心筋層および血液貯留（乳頭筋および肉柱筋を含む）を定義するマスクが計算される。少なくともいくつかの実装形態では、心筋層および血液貯留を定義するマスクが、プロセス４３００の始まりにおいて利用可能であり、初期の輪郭４３０４から計算される必要はない。
次いで、４３０８において、乳頭筋および肉柱筋からの血液貯留を描写するために使用される強度閾値が計算される。強度閾値の計算の少なくとも１つの実装形態が、以下で図４４に示される方法４４００を参照しながら説明される。
次いで、４３１０において、強度閾値が、血液貯留のマスクにおけるピクセルに適用される。それらのピクセルは、血液貯留と、乳頭筋と、肉柱筋とを含む。閾値処理の後、高信号強度のピクセルが、血液貯留のクラスに割り当てられ、低信号強度のピクセルが、乳頭筋および肉柱筋クラスに割り当てられる。
４３１２では、少なくともいくつかの実装形態では、接続された成分分析が、血液貯留のクラスのピクセルについての最も大きい接続された構成要素を決定するために使用される。次いで、血液貯留のクラスの一部である（それらの高い信号強度により）が、血液貯留のピクセルについての最も大きい接続された構成要素の一部ではないピクセルは、乳頭筋および肉柱筋内の孔であると仮定され、乳頭筋および肉柱筋クラスに変換される。
少なくともいくつかの実装形態では、次いで、乳頭筋および肉柱筋を血液貯留および心筋層から分離する結果として生成される境界が、４３１４において計算され、記憶されるまたはユーザに表示される。少なくともいくつかの実装形態では、血液貯留の一部であると決定されるピクセルは、心室の血液貯留の正味容積を決定するように総計される。次いで、そのボリュームは、記憶されてもよいし、ユーザに表示されてもよいし、心臓駆出分画などのその後の計算において使用されてもよい。
図４４は、画像強度閾値を計算するためのプロセス４４００の例となる一実装形態を示す。画像強度閾値を計算するために他の方法が使用されてよいことが諒解されるべきである。最初は、心臓ＭＲＩの画像データ４４０２と心筋の筋肉および血液貯留を表すマスク４４０４との両方が利用可能である。血液貯留のマスクは、血液貯留と乳頭筋および肉柱筋との両方を含む。マスクは、心筋の筋肉を描写する輪郭から導出された可能性がある、または、それらが、何らかの他の方法を介して導出された可能性がある。乳頭筋および肉柱筋は、血液貯留のマスクに含まれる（図４１参照）。
４４０６では、心筋層および血液貯留のピクセル強度の分布が計算される。それらの２つの分布の各々に対して、ピクセル強度のカーネル密度の推定値が、４４０８において計算されることができる。データがほぼ正常に分布する場合、シルヴァーマンの親指の法則が、密度推定におけるカーネル帯域幅を決定するために使用可能である（たとえば、非特許文献２１参照。）。あるいは、データの分布に基づいて、他の帯域幅も使用されてよい。
４４１０において、密度推定が重複する、すなわち、与えられたピクセル強度が心筋層のピクセル強度の分布からもたらされた確率が、ピクセルが血液貯留の分布からもたらされた確率に等しい、ピクセル強度が、算定される。このピクセル強度を、血液貯留のピクセルを乳頭筋および肉柱筋のピクセルから分離する強度閾値として選ぶことができる。
図４５は、血液貯留と心筋層との間のピクセル強度の分布についての分布重複４４１０を示すグラフ４５００である。示されるのは、心筋層４５０２におけるピクセル強度および血液貯留４５０４におけるピクセル強度の例となる分布である。ｙ軸は確率分布関数を表し、恣意的な単位における、ｘ軸は、ピクセル強度を表す。図示される実装形態では、血液貯留を乳頭筋および肉柱筋から分離するために使用される閾値は、２つの分布４５０２と４５０４との間の重複のロケーション４５０６である。
心筋の性質の識別および局所化
図４６は、あらかじめ訓練されたＣＮＮモデルを使用して心筋の性質を識別および局所化するプロセス４６００のための一実装形態を示す。最初は、心臓画像法データ４６０２およびあらかじめ訓練されたＣＮＮモデル４６０４が利用可能である。プロセス４６００の少なくとも１つの実装形態では、心臓画像法データは、短軸磁気共鳴（ＭＲ）獲得であるが、他のイメージング平面（たとえば、長軸）および他のイメージングモダリティ（たとえば、コンピュータ断層撮影または超音波）が同様に機能するであろう。少なくともいくつかの実装形態では、訓練されたＣＮＮモデル４６０４は、心臓画像データ４６０２と同じタイプである（たとえば、同じイメージングモダリティ、同じ造影剤注入プロトコル、および適用可能な場合は、同じＭＲパルスシーケンス）データに対して訓練されている。他の実装形態では、訓練されたＣＮＮモデル４６０４が、心臓画像データ４６０２とは異なるタイプのデータに対して訓練されている。いくつかの実装形態では、ＣＮＮモデル４６０４が訓練されたデータは、（たとえば、非造影ＳＳＦＰイメージングシーケンスを介して）機能的心臓病の核磁気共鳴画像法からのデータであり、心臓画像データは、心臓灌流または心筋遅延増強のスタディからのデータである。
図４６は、あらかじめ訓練されたＣＮＮモデルを使用して心筋の性質を識別および局所化するプロセス４６００のための一実装形態を示す。最初は、心臓画像法データ４６０２およびあらかじめ訓練されたＣＮＮモデル４６０４が利用可能である。プロセス４６００の少なくとも１つの実装形態では、心臓画像法データは、短軸磁気共鳴（ＭＲ）獲得であるが、他のイメージング平面（たとえば、長軸）および他のイメージングモダリティ（たとえば、コンピュータ断層撮影または超音波）が同様に機能するであろう。少なくともいくつかの実装形態では、訓練されたＣＮＮモデル４６０４は、心臓画像データ４６０２と同じタイプである（たとえば、同じイメージングモダリティ、同じ造影剤注入プロトコル、および適用可能な場合は、同じＭＲパルスシーケンス）データに対して訓練されている。他の実装形態では、訓練されたＣＮＮモデル４６０４が、心臓画像データ４６０２とは異なるタイプのデータに対して訓練されている。いくつかの実装形態では、ＣＮＮモデル４６０４が訓練されたデータは、（たとえば、非造影ＳＳＦＰイメージングシーケンスを介して）機能的心臓病の核磁気共鳴画像法からのデータであり、心臓画像データは、心臓灌流または心筋遅延増強のスタディからのデータである。
少なくともいくつかの実装形態では、ＣＮＮモデル４６０４は、心臓画像データ４６０２と異なるタイプのデータに対して訓練されており、次いで、（すなわち、いくつかの重みを潜在的に固定された状態に保ちながら、層のいくつかまたはすべてを再訓練することによって）心臓画像データ４６０２と同じタイプのデータに関して微調節される。
４６０６では、訓練されたＣＮＮモデル４６０４が、内側および外側の心筋の輪郭を推論するために使用される。少なくともいくつかの実装形態では、最初に、ＣＮＮモデル４６０４が、１つまたは複数の確率マップを生成し、次いで、１つまたは複数の確率マップが輪郭に変換される。少なくともいくつかの実装形態では、４６０８において、輪郭は、心筋層の一部でない組織が、心筋層として描写される領域内に含まれる確率を最小にするために、後処理される。この後処理は、多くの形式をとり得る。たとえば、後処理は、形態学的びらんなどの形態学的演算を心筋層として識別される心臓の領域に適用して、その面積を減少させることを含むことができる。後処理は、加えてまたはあるいは、心筋層として識別される領域が、領域が心筋層であるという高い信頼度を確率マップが指し示すＣＮＮ出力に制限されるように、訓練されたＣＮＮモデルの確率マップ出力に適用される閾値を修正することを含むことができる。後処理は、加えてまたはあるいは、心臓の心室の中心の方へまたはこれから離れるように心筋層を描写する輪郭の頂点をシフトして、心筋層の識別される面積を減少させることを含んでもよいし、上記のプロセスの任意の組み合わせを含んでもよい。
少なくともいくつかの実装形態では、後処理は、輪郭とは反対に心臓領域を描写するマスクに適用される。
少なくともいくつかの実装形態では、４６１０では、右心室壁が左心室につく心室の挿入点が決定される。少なくともいくつかの実装形態では、挿入点は、ソフトウェアのユーザによって手動で指定される。他の実装形態では、挿入点は、自動的に計算される。
図４７は、心室の挿入点を示す画像４７００である。左心室心外膜輪郭４７０２および右心室輪郭４７０４が示されている。右心室輪郭は、右心室心内膜の輪郭であってもよいし、右心室心外膜輪郭であってもよい。下方の挿入点４７０６および前方の挿入点４７０８が指し示されている。少なくとも１つの実装形態では、挿入点を識別する（たとえば、図４６の作動４６１０）ための自動化されたシステムは、左心室心外膜輪郭４７０２からの右心室輪郭４７０４の距離を分析する。挿入点ロケーション４７０６および４７０８は、２つの輪郭間の距離が分かれるロケーションとして定義される。
少なくとも１つの他の実装形態では、挿入点４７０６および４７０８のロケーションが、左心２チャンバビュー（左心室および左心房）および左心３チャンバビュー（左心室、左心房および大動脈）を定義する平面との、左心室心外膜輪郭４７０２または右心室輪郭４７０４の１つのどちらかの交差の点として定義される。
心筋層が描写されると、４６１２において、心筋領域が局所化および定量化される。心筋層の潜在的な病状（梗塞など）または特性（灌流特性など）が定量化されることができる。図４６の作動４６１２は、このプロセスの任意の位相において実行されてよく、少なくともいくつかの実装形態では、輪郭（たとえば、作動４６０６）および挿入点（たとえば、作動４６１０）のうちの１つまたは複数の決定に先行することができることに留意されたい。システムの少なくとも１つの実装形態では、対象となる領域（相対的増強の領域など）は、ユーザによって手動で検出および描写される。システムの他の実装形態では、対象となる領域は、限定するものではないが、非特許文献２２において論じられる画像処理技法のいずれかなどの、ＣＮＮまたは他の画像処理技法などの自動化されたシステムによって、検出、描写、またはその両方が行われる。次いで、相対的な高強度もしくは低強度などの欠陥、または絶対的な心筋灌流などの生物学的に推論された量の定量化が、実行される（たとえば、非特許文献２３参照。）。少なくともいくつかの実装形態では、特定の欠陥を検出する代わりに、心筋の領域全体の性質（たとえば、灌流）が評価される。
心筋層の欠陥または他の特性が決定されると、少なくともいくつかの実装形態では、４６１４では、心筋の輪郭および挿入点が、１７セグメントモデルなどの標準的なフォーマットへと心筋層をセグメンテーションするために使用される（たとえば、非特許文献２４参照。）。それらの実装形態では、次いで、欠陥または心筋の性質が、標準的なフォーマットを使用して局所化される。少なくともいくつかの実装形態では、結果として得られる特性が、ディスプレイ４６１６上でユーザに表示される。
前述の詳細な説明は、ブロック図、概略図、および例の使用を介して、デバイスおよび／またはプロセスのさまざまな実装形態について記載している。そのようなブロック図、概略図、および例が、１つまたは複数の機能および／または動作を含む限り、そのようなブロック図、フローチャート、または例における各機能および／または動作が、広範囲のハードウェア、ソフトウェア、ファームウェア、またはそれらの事実上すべての組み合わせによって、個別におよび／または集合的に実施可能であることが、当業者によって理解されるであろう。一実装形態では、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実施されることができる。しかしながら、当業者は、本明細書において開示される実装形態が、全体的または部分的に、１つもしくは複数のコンピュータ上で実行される１つもしくは複数のコンピュータプログラムとして（たとえば、１つまたは複数のコンピュータシステム上で実行される１つまたは複数のプログラムとして）、１つまたは複数のコントローラ（たとえば、マイクロコントローラ）上で実行される１つまたは複数のプログラムとして、１つもしくは複数のプロセッサ（たとえば、マイクロプロセッサ）上で実行されている１つもしくは複数のプログラム、ファームウェアとして、またはそれらの事実上すべての組み合わせとして、標準的な集積回路において同等に実施可能であり、回路を設計することならびに／またはソフトウェアおよびもしくはファームウェアのためのコードを書くことは、本開示に鑑みて十分に当業者の技術の範囲内であることを認識するであろう。
当業者は、本明細書において記載される方法またはアルゴリズムの多くは、追加の作動を用いてもよいし、いくつかの作動を省略してもよいし、および／または指定されたのとは異なる順序で作動を実行してもよいことを認識するであろう。
加えて、当業者は、本明細書において教示されるメカニズムは、さまざまな形式でプログラム製品として配布可能であり、例示的な実装形態は、配布を実際に行うために使用される特定のタイプの信号担持媒体に関係なく等しく適用することを諒解するであろう。信号担持媒体の例は、限定するものではないが、フロッピーディスク、ハードディスクドライブ、ＣＤ ＲＯＭ、デジタルテープ、およびコンピュータメモリなどの記録可能なタイプの媒体を含む。
上記で説明されるさまざまな実装形態は、さらなる実装形態を提供するために組み合わされ得る。それらが本明細書における特定の教示および定義と矛盾しない限り、限定するものではないが、２０１１年７月７日に出願された特許文献１、２０１３年１１月２０日に出願された特許文献２、２０１２年７月５日に出願された特許文献３、２０１４年１月１７日に出願された特許文献４、２０１６年７月１５日に出願された特許文献５、２０１５年１月１６日に出願された特許文献６、２０１５年１１月２９日に出願された特許文献７、２０１６年１０月３１日に出願された特許文献８、２０１６年１１月１日に出願された特許文献９、２０１６年１１月２９日に出願された特許文献１０、および２０１７年１月２７日に出願された特許文献１１を含む、本明細書に参照されるおよび／または出願データシートに列挙される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許公報のすべてが、それら全体が参照により本明細書に組み込まれる。実装形態の態様は、必要である場合、さまざまな特許、出願、および公報のシステム、回路、および概念を用いて、さらに別の実装形態を提供するために修正可能である。
これらおよび他の変更は、上記の詳細な説明に鑑みて実装形態に対して行われてよい。一般に、以下の特許請求の範囲では、使用された用語は、明細書および特許請求の範囲に開示されている特定の実装形態に特許請求の範囲を制限するように解釈されるべきでなく、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともにすべての可能な実装形態を含むように解釈されるべきである。したがって、特許請求の範囲は、本開示によって制限されない。
Claims (58)
- プロセッサ実行可能命令またはデータのうちの少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、
前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、
ラベル付与された画像セットの複数のバッチを含む学習データを受信し、各画像セットは、解剖学的構造を表す画像データを含み、各画像セットは、前記画像セットの各画像に描かれた前記解剖学的構造の特定の部分の領域を識別する少なくとも１つのラベルを含み、
前記受信された学習データを利用して前記解剖学的構造の少なくとも１つの部分をセグメンテーションするよう全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練し、
前記機械学習システムの前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に前記訓練されたＣＮＮモデルを記憶する、
少なくとも１つのプロセッサと
を備えた機械学習システム。 - 前記ＣＮＮモデルは、収縮用経路および膨張用経路を含み、前記収縮用経路は、いくつかの畳み込み層およびいくつかのプーリング層を含み、各プーリング層は、少なくとも１つの畳み込み層によって先行され、前記膨張用経路は、いくつかの畳み込み層およびいくつかのアップサンプリング層を含み、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含むことを特徴とする請求項１に記載の機械学習システム。
- 前記収縮用経路は、第１および第２の平行な経路を含み、前記第１および第２の平行な経路のうち一方は、いくつかの畳み込み層およびいくつかのプーリング層を含み、各プーリング層は、少なくとも１つの畳み込み層によって先行され、前記第１および第２の平行な経路のうち他方は、零以上のプーリング層を単に含むことを特徴とする請求項２に記載の機械学習システム。
- 前記収縮用経路の初期層は、前記学習データをダウンサンプリングし、前記初期層に続く層は、前記初期層よりも高い、畳み込み演算対ダウンサンプリング演算の比率を含むことを特徴とする請求項２に記載の機械学習システム。
- 前記膨張用経路は、前記収縮用経路よりも少ない畳み込み演算を含むことを特徴とする請求項２に記載の機械学習システム。
- 残差接続は、同じ空間的スケールにおいて動作する層の各組の間に存在することを特徴とする請求項２に記載の機械学習システム。
- 前記畳み込みは、密なＭ×Ｍ畳み込み、ただし１≦Ｍ≦１１、カスケードされたＮ×１および１×Ｎ畳み込み、ただし３≦Ｎ≦１１、および拡張された畳み込みを含むことを特徴とする請求項２に記載の機械学習システム。
- 前記ＣＮＮモデルは、前記収縮用経路および前記膨張用経路において層の前記画像のサイズが互換性のある前記層の間のスキップ接続を含むことを特徴とする請求項２に記載の機械学習システム。
- 前記スキップ接続は、前記ＣＮＮモデルの連結する特徴マップを含むことを特徴とする請求項８に記載の機械学習システム。
- 前記スキップ接続は、前記ＣＮＮモデルの特徴マップの値を加算するまたは減算する残差接続である請求項８に記載の機械学習システム。
- プロセッサ実行可能命令またはデータのうち少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサとを備えた機械学習システムを動作させる方法であって、前記方法は、
前記少なくとも１つのプロセッサによって、ラベル付与された画像セットの複数のバッチを含む学習データを受信するステップであって、各画像セットは、解剖学的構造を表す画像データを含み、各画像セットは、前記画像セットの各画像に描かれた前記解剖学的構造の特定の部分の領域を識別する少なくとも１つのラベルを含む、ステップと、
前記少なくとも１つのプロセッサによって、前記受信された学習データを利用して前記解剖学的構造の少なくとも１つの部分をセグメンテーションするよう全層畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するステップと、
前記少なくとも１つのプロセッサによって、前記機械学習システムの前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に前記訓練されたＣＮＮモデルを記憶するステップと
を備える方法。 - 前記ＣＮＮモデルを訓練するステップは、収縮用経路および膨張用経路を含むＣＮＮモデルを訓練するステップを含み、前記収縮用経路は、いくつかの畳み込み層およびいくつかのプーリング層を含み、各プーリング層は、少なくとも１つの畳み込み層によって先行され、前記膨張用経路は、いくつかの畳み込み層およびいくつかのアップサンプリング層を含み、各アップサンプリング層は、少なくとも１つの畳み込み層によって先行され、アップサンプリングと学習されたカーネルを用いた補間とを実行する転置畳み込み演算を含むことを特徴とする請求項１１に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、収縮用経路を含むＣＮＮモデルを訓練するステップを含み、前記収縮用経路は、第１および第２の平行な経路を含み、前記第１および第２の平行な経路のうち一方は、いくつかの畳み込み層およびいくつかのプーリング層を含み、各プーリング層は、少なくとも１つの畳み込み層によって先行され、前記第１および第２の平行な経路のうち他方は、零以上のプーリング層を単に含むことを特徴とする請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、収縮用経路を含むＣＮＮモデルを訓練するステップを含み、前記収縮用経路の初期層は、前記学習データをダウンサンプリングし、前記初期層に続く層は、前記初期層よりも高い、畳み込み演算体ダウンサンプリング演算の比率を含む請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、前記収縮用経路よりも少ない畳み込み演算を含む膨張用経路を含むＣＮＮモデルを訓練するステップを含むことを特徴とする請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、同じ空間的スケールにおいて動作する層の各組の間の残差接続を含むＣＮＮモデルを訓練するステップを含むことを特徴とする請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、ＣＮＮモデルを訓練するステップを含み、前記畳み込みは、密なＭ×Ｍ畳み込み、ただし１≦Ｍ≦１１、カスケードされたＮ×１および１×Ｎ畳み込み、ただし３≦Ｎ≦１１、および拡張された畳み込みを含むことを特徴とする請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、前記収縮用経路および前記膨張用経路において層の前記画像のサイズが互換性のある前記層の間のスキップ接続を含むＣＮＮモデルを訓練するステップを含むことを特徴とする請求項１２に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、スキップ接続を含むＣＮＮモデルを訓練するステップを含み、前記スキップ接続は、前記ＣＮＮモデルについて連結する特徴マップを含むことを特徴とする請求項１８に記載の方法。
- 前記ＣＮＮモデルを訓練するステップは、スキップ接続を含むＣＮＮモデルを訓練するステップを含み、前記スキップ接続は、前記ＣＮＮモデルの特徴マップの値を加算するまたは減算する残差接続であることを特徴とする請求項１８に記載の方法。
- プロセッサ実行可能命令またはデータと、心臓ＭＲＩの画像データと、前記心臓の前記心内膜および心外膜を描写する初期の輪郭またはマスクとのうち少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、
前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、処理において、前記少なくとも１つのプロセッサは、
系列のための前記心臓ＭＲＩの画像データおよび初期の輪郭またはマスクにアクセスし、
前記心内膜の輪郭の内部において乳頭筋および肉柱筋から血液を区別する画像強度の閾値を自律的に計算し、
前記乳頭筋および肉柱筋の前記境界を記述する輪郭またはマスクを定義するために前記画像の強度閾値を自律的に適用する、
少なくとも１つのプロセッサと
を備えた医用画像処理システム。 - 前記画像強度の閾値を計算するために、前記少なくとも１つのプロセッサは、前記心内膜の輪郭と前記心外膜の輪郭との間の領域に対して強度値の分布と前記心内膜の輪郭内の強度値の分布を比較することを特徴とする請求項２１に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、経験的な強度分布のカーネル密度の推定を使用して強度値の前記分布の各々を計算することを特徴とする請求項２２に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、第１および第２の確率分布関数の交点における前記ピクセル強度であるよう前記画像強度の閾値を決定し、前記第１の確率分布関数は、前記心内膜の輪郭内のピクセルのセットに対するものであり、前記第２の確率分布関数は、前記心内膜の輪郭と前記心外膜輪郭との間の前記領域におけるピクセルのセットに対するものであることを特徴とする請求項２２に記載の医用画像処理システム。
- 前記心臓の前記心内膜を描写する前記初期の輪郭またはマスクは、前記心内膜の輪郭の前記内部に前記乳頭筋および肉柱筋を含むことを特徴とする請求項２１に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、前記血液貯留領域の接続された構成要素を計算し、前記血液貯留領域から前記計算された接続された構成要素のうちの１つまたは複数を破棄することを特徴とする請求項２１に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、前記血液貯留領域から破棄された前記接続された構成要素を前記乳頭筋および肉柱筋の領域に変換することを特徴とする請求項２６に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、前記血液貯留領域において最大の接続された構成要素以外のすべてを前記血液貯留領域から破棄することを特徴とする請求項２６に記載の医用画像処理システム。
- 前記少なくとも１つのプロセッサは、前記乳頭筋および肉柱筋の前記境界線を記述する前記計算された輪郭またはマスクが、ユーザによって編集されるのを可能にすることを特徴とする請求項２１に記載の医用画像処理システム。
- プロセッサ実行可能命令またはデータ、前記心臓の医用画像法のデータ、および訓練された畳み込みニューラルネットワーク（ＣＮＮ）モデルのうち少なくとも１つを記憶する少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体と、
前記少なくとも１つの非一時的なプロセッサ読み取り可能な記録媒体に通信可能に結合された少なくとも１つのプロセッサであって、処理において、前記少なくとも１つのプロセッサは、
前記訓練されたＣＮＮモデルを使用して前記医用画像法のデータにおいて前記心臓の前記心内膜および心外膜を描写する輪郭またはマスクを計算し、
前記計算された輪郭またはマスクを使用して前記心筋の筋肉についての病状または機能の特性を解剖学的に局所化する、
少なくとも１つのプロセッサと
を備えた機械学習システム。 - 前記少なくとも１つのプロセッサは、前記右心室壁が前記左心室につく前記心室の挿入点を計算することを特徴とする請求項３０に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記右心室心内膜または前記右心室心外膜の一方または両方に前記左心室心外膜を描写する輪郭またはマスクの前記近接性に基づいて前記心室の挿入点を計算することを特徴とする請求項３１に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心室心外膜の境界線が前記右心室心内膜の境界線または前記右心室心外膜の境界線の一方または両方から分岐する前記心臓画像における前記２つの点に基づいて１つまたは複数の２次元心臓画像において前記心室の挿入点を計算することを特徴とする請求項３２に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心室の獲得された長軸ビューと前記左心室心外膜の前記描写との間の交点に基づいて前記心室の挿入点を計算することを特徴とする請求項３１に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心室心外膜の輪郭と前記左心臓の３チャンバの長軸平面との間の交点に基づいて少なくとも１つの心室の挿入点を計算することを特徴とする請求項３４に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心室心外膜の輪郭と前記左心臓の４チャンバの長軸平面との間の交点に基づいて少なくとも１つの心室の挿入点を計算することを特徴とする請求項３４に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心臓の３チャンバの長軸平面と前記右心室心外膜の輪郭または前記右心室心内膜の輪郭の一方または両方との間の交点に基づいて少なくとも１つの心室の挿入点を計算することを特徴とする請求項３４に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記左心臓の４チャンバの長軸平面と前記右心室心外膜の輪郭または前記右心室心内膜の輪郭の一方または両方との間の交点に基づいて、少なくとも１つの心室の挿入点を計算することを特徴とする請求項３４に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記心室の挿入点のうちの１つまたは複数のロケーションを手動により描写することをユーザに可能にすることを特徴とする請求項３０に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、輪郭と心室の挿入点との組み合わせを使用して、標準化されたフォーマットにおいて前記心筋の筋肉の病状または機能的特性の解剖学的ロケーションを提示することを特徴とする請求項３０に記載の機械学習システム。
- 前記標準化されたフォーマットは、前記心筋の筋肉の１６または１７のセグメントモデルの一方または両方であることを特徴とする請求項４０に記載の機械学習システム。
- 前記心臓の前記医用画像法のデータは、機能的心臓病の画像、心筋遅延強調画像、または心筋灌流画像のうち１つまたは複数であることを特徴とする請求項３０に記載の機械学習システム。
- 前記心臓の前記医用画像法のデータは、心臓磁気共鳴画像であることを特徴とする請求項４２に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルは、前記訓練されたＣＮＮモデルが推論のために使用されるのと同じ種類のアノテーション付与された心臓画像に対して訓練されていることを特徴とする請求項３０に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルは、機能的心臓病の画像、心筋遅延強調画像、または心筋灌流画像のうちの１つまたは複数に対して訓練されていることを特徴とする請求項４４に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルが訓練された前記データは、心臓磁気共鳴画像であることを特徴とする請求項４５に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルは、前記訓練されたＣＮＮモデルが推論のために使用されるのとは異なる種類のアノテーション付与された心臓画像に対して訓練されていることを特徴とする請求項３０に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルは、機能的心臓病の画像、心筋遅延強調画像、または心筋灌流画像のうち１つまたは複数に対して訓練されていることを特徴とする請求項４７に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルが訓練された前記データは、心臓磁気共鳴画像であることを特徴とする請求項４８に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記ＣＮＮモデルが推論のために使用されるのと同じ種類のデータに対して前記訓練されたＣＮＮモデルを微調節することを特徴とする請求項３０に記載の機械学習システム。
- 前記訓練されたＣＮＮモデルを微調節するために、前記少なくとも１つのプロセッサは、前記訓練されたＣＮＮモデルの前記層のいくつかまたはすべてを保持することを特徴とする請求項５０に記載の機械学習システム。
- 前記少なくとも１つのプロセッサは、前記心臓の前記心内膜および心外膜を描写する前記輪郭またはマスクに後処理を適用して、心筋層として識別される前記心臓の領域に存在する非心筋組織の量を最小にすることを特徴とする請求項３０に記載の機械学習システム。
- 前記輪郭またはマスクを後処理するために、前記少なくとも１つのプロセッサは、心筋層として識別される前記心臓の領域に形態学的演算を適用して、面積を減少させることを特徴とする請求項５２に記載の機械学習システム。
- 前記形態学的演算は、びらんまたは拡張のうち１つまたは複数を含むことを特徴とする請求項５３に記載の機械学習システム。
- 前記輪郭またはマスクを後処理するために、前記少なくとも１つのプロセッサは、前記訓練されたＣＮＮモデルが、前記ピクセルが前記心筋層の一部である閾値を上回る確率を表現する心筋層のピクセルのみを識別するように、前記訓練されたＣＮＮモデルによって予測される確率マップに適用される前記閾値を修正することを特徴とする請求項５２に記載の機械学習システム。
- 確率マップ値がクラスラベルに変換される前記閾値は０．５よりも大きいことを特徴とする請求項５５に記載の機械学習システム。
- 前記輪郭またはマスクを後処理するために、前記少なくとも１つのプロセッサは、前記心筋層を描写する輪郭の頂点を、前記心臓の前記心室の中心に向けてまたは離れるようにシフトして、心筋層の前記識別された面積を減少させることを特徴とする請求項５２に記載の機械学習システム。
- 前記心筋の筋肉の前記病状または機能的特性が、心筋瘢痕、心筋梗塞、冠動脈狭窄、または灌流特性のうち１つまたは複数を含むことを特徴とする請求項３０に記載の機械学習システム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762451482P | 2017-01-27 | 2017-01-27 | |
| US62/451,482 | 2017-01-27 | ||
| PCT/US2018/015222 WO2018140596A2 (en) | 2017-01-27 | 2018-01-25 | Automated segmentation utilizing fully convolutional networks |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020510463A true JP2020510463A (ja) | 2020-04-09 |
| JP2020510463A5 JP2020510463A5 (ja) | 2021-03-04 |
Family
ID=62977998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019540646A Pending JP2020510463A (ja) | 2017-01-27 | 2018-01-25 | 全層畳み込みネットワークを利用する自動化されたセグメンテーション |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US10600184B2 (ja) |
| EP (1) | EP3573520A4 (ja) |
| JP (1) | JP2020510463A (ja) |
| CN (1) | CN110475505B (ja) |
| WO (1) | WO2018140596A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020038663A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ストラドビジョン | 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ |
Families Citing this family (206)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10331852B2 (en) | 2014-01-17 | 2019-06-25 | Arterys Inc. | Medical imaging and efficient sharing of medical imaging information |
| CN106170246A (zh) | 2014-01-17 | 2016-11-30 | 阿特瑞斯公司 | 用于四维(4d)流磁共振成像的设备、方法和产品 |
| US10871536B2 (en) * | 2015-11-29 | 2020-12-22 | Arterys Inc. | Automated cardiac volume segmentation |
| CN109844865B (zh) | 2016-10-27 | 2021-03-30 | 普罗热尼奇制药公司 | 用于医学图像分析的网络、决策支持系统和相关图形用户界面(gui)应用 |
| US10663711B2 (en) | 2017-01-04 | 2020-05-26 | Corista, LLC | Virtual slide stage (VSS) method for viewing whole slide images |
| US10600184B2 (en) | 2017-01-27 | 2020-03-24 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
| CN106887225B (zh) * | 2017-03-21 | 2020-04-07 | 百度在线网络技术（北京）有限公司 | 基于卷积神经网络的声学特征提取方法、装置和终端设备 |
| US10699412B2 (en) * | 2017-03-23 | 2020-06-30 | Petuum Inc. | Structure correcting adversarial network for chest X-rays organ segmentation |
| GB201705876D0 (en) | 2017-04-11 | 2017-05-24 | Kheiron Medical Tech Ltd | Recist |
| GB201705911D0 (en) | 2017-04-12 | 2017-05-24 | Kheiron Medical Tech Ltd | Abstracts |
| US10261903B2 (en) | 2017-04-17 | 2019-04-16 | Intel Corporation | Extend GPU/CPU coherency to multi-GPU cores |
| GB201706149D0 (en) * | 2017-04-18 | 2017-05-31 | King's College London | System and method for medical imaging |
| US11468286B2 (en) * | 2017-05-30 | 2022-10-11 | Leica Microsystems Cms Gmbh | Prediction guided sequential data learning method |
| US10699410B2 (en) * | 2017-08-17 | 2020-06-30 | Siemes Healthcare GmbH | Automatic change detection in medical images |
| KR20200129168A (ko) * | 2017-09-27 | 2020-11-17 | 구글 엘엘씨 | 고해상도 이미지 세분화를 위한 종단간 네트워크 모델 |
| US10891723B1 (en) | 2017-09-29 | 2021-01-12 | Snap Inc. | Realistic neural network based image style transfer |
| EP3471054B1 (en) * | 2017-10-16 | 2022-02-09 | Siemens Healthcare GmbH | Method for determining at least one object feature of an object |
| US10783640B2 (en) | 2017-10-30 | 2020-09-22 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for image segmentation using a scalable and compact convolutional neural network |
| US11551353B2 (en) | 2017-11-22 | 2023-01-10 | Arterys Inc. | Content based image retrieval for lesion analysis |
| CN110121293B (zh) * | 2017-11-24 | 2023-07-04 | 佳能医疗系统株式会社 | 医用数据处理装置、成像装置及学习完毕模型生成方法 |
| US10973486B2 (en) | 2018-01-08 | 2021-04-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
| WO2019147767A1 (en) * | 2018-01-24 | 2019-08-01 | Rensselaer Polytechnic Institute | 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network |
| US10595727B2 (en) * | 2018-01-25 | 2020-03-24 | Siemens Healthcare Gmbh | Machine learning-based segmentation for cardiac medical imaging |
| US10885630B2 (en) * | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
| US11024025B2 (en) * | 2018-03-07 | 2021-06-01 | University Of Virginia Patent Foundation | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy |
| US11537428B2 (en) | 2018-05-17 | 2022-12-27 | Spotify Ab | Asynchronous execution of creative generator and trafficking workflows and components therefor |
| US11403663B2 (en) * | 2018-05-17 | 2022-08-02 | Spotify Ab | Ad preference embedding model and lookalike generation engine |
| GB2574372B (en) * | 2018-05-21 | 2021-08-11 | Imagination Tech Ltd | Implementing Traditional Computer Vision Algorithms As Neural Networks |
| EP3815040A4 (en) | 2018-05-21 | 2022-03-02 | Corista LLC | MULTIPLE SAMPLE BULK SLIDE IMAGE PROCESSING USING MULTIPLE RESOLUTION REGISTRATION |
| WO2019232099A1 (en) * | 2018-05-29 | 2019-12-05 | Google Llc | Neural architecture search for dense image prediction tasks |
| US11854703B2 (en) | 2018-06-11 | 2023-12-26 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
| CA3103538A1 (en) * | 2018-06-11 | 2019-12-19 | Socovar, Societe En Commandite | System and method for determining coronal artery tissue type based on an oct image and using trained engines |
| CA3102170A1 (en) | 2018-06-14 | 2019-12-19 | Kheiron Medical Technologies Ltd | Immediate workup |
| EP3598344A1 (en) * | 2018-07-19 | 2020-01-22 | Nokia Technologies Oy | Processing sensor data |
| CN109087298B (zh) * | 2018-08-17 | 2020-07-28 | 电子科技大学 | 一种阿尔兹海默病mri图像分类方法 |
| KR102174379B1 (ko) * | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| US11164067B2 (en) * | 2018-08-29 | 2021-11-02 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
| CN109345538B (zh) * | 2018-08-30 | 2021-08-10 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
| JP7213412B2 (ja) * | 2018-09-12 | 2023-01-27 | 学校法人立命館 | 医用画像抽出装置、医用画像抽出方法、及び、コンピュータプログラム |
| EP3624056B1 (en) * | 2018-09-13 | 2021-12-01 | Siemens Healthcare GmbH | Processing image frames of a sequence of cardiac images |
| CN109308695A (zh) * | 2018-09-13 | 2019-02-05 | 镇江纳兰随思信息科技有限公司 | 基于改进U-net卷积神经网络模型的癌细胞识别方法 |
| CN109242863B (zh) * | 2018-09-14 | 2021-10-26 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
| CN109272512B (zh) * | 2018-09-25 | 2022-02-15 | 南昌航空大学 | 一种自动分割左心室内外膜的方法 |
| US20200104678A1 (en) * | 2018-09-27 | 2020-04-02 | Google Llc | Training optimizer neural networks |
| CN109559315B (zh) * | 2018-09-28 | 2023-06-02 | 天津大学 | 一种基于多路径深度神经网络的水面分割方法 |
| CN109410318B (zh) * | 2018-09-30 | 2020-09-08 | 先临三维科技股份有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| EP3864618A1 (en) * | 2018-10-12 | 2021-08-18 | The Medical College of Wisconsin, Inc. | Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs |
| CN111126242B (zh) | 2018-10-16 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 肺部图像的语义分割方法、装置、设备及存储介质 |
| US11651584B2 (en) * | 2018-10-16 | 2023-05-16 | General Electric Company | System and method for memory augmented domain adaptation |
| CN109509203B (zh) * | 2018-10-17 | 2019-11-05 | 哈尔滨理工大学 | 一种半自动脑部图像分割方法 |
| US11720997B2 (en) | 2018-10-19 | 2023-08-08 | Samsung Electronics Co.. Ltd. | Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof |
| WO2020080765A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
| MX2021004475A (es) * | 2018-10-19 | 2021-06-04 | Climate Llc | Tecnica de aprendizaje automatico para identificar nubes y sombras de nubes en imagenes satelitales. |
| KR102525578B1 (ko) | 2018-10-19 | 2023-04-26 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| WO2020080665A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
| WO2020080698A1 (ko) | 2018-10-19 | 2020-04-23 | 삼성전자 주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| WO2020080873A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
| KR20200044653A (ko) * | 2018-10-19 | 2020-04-29 | 삼성전자주식회사 | 딥 뉴럴 네트워크를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치 |
| KR102312337B1 (ko) * | 2018-10-19 | 2021-10-14 | 삼성전자주식회사 | Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법 |
| CN109508647A (zh) * | 2018-10-22 | 2019-03-22 | 北京理工大学 | 一种基于生成对抗网络的光谱数据库扩展方法 |
| JP2022506135A (ja) * | 2018-10-30 | 2022-01-17 | アレン インスティテュート | ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の３ｄ細胞間構造のセグメント化 |
| CN109448006B (zh) * | 2018-11-01 | 2022-01-28 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
| CN109523077B (zh) * | 2018-11-15 | 2022-10-11 | 云南电网有限责任公司 | 一种风电功率预测方法 |
| CN113569796A (zh) * | 2018-11-16 | 2021-10-29 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN110009640B (zh) * | 2018-11-20 | 2023-09-26 | 腾讯科技（深圳）有限公司 | 处理心脏视频的方法、设备和可读介质 |
| WO2020108009A1 (en) * | 2018-11-26 | 2020-06-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
| TW202022713A (zh) * | 2018-12-05 | 2020-06-16 | 宏碁股份有限公司 | 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置 |
| CN109711411B (zh) * | 2018-12-10 | 2020-10-30 | 浙江大学 | 一种基于胶囊神经元的图像分割识别方法 |
| CN111309800A (zh) * | 2018-12-11 | 2020-06-19 | 北京京东尚科信息技术有限公司 | 数据存储、读取的方法和装置 |
| US10943352B2 (en) * | 2018-12-17 | 2021-03-09 | Palo Alto Research Center Incorporated | Object shape regression using wasserstein distance |
| US10740901B2 (en) * | 2018-12-17 | 2020-08-11 | Nvidia Corporation | Encoder regularization of a segmentation model |
| EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
| US11423251B2 (en) | 2019-01-03 | 2022-08-23 | Samsung Electronics Co., Ltd. | Method and system of performing convolution in neural networks with variable dilation rate |
| CN109584254B (zh) * | 2019-01-07 | 2022-12-20 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
| CN113272859A (zh) | 2019-01-07 | 2021-08-17 | 西尼诊断公司 | 用于平台中立性全身图像分段的系统及方法 |
| CN109872325B (zh) * | 2019-01-17 | 2022-11-15 | 东北大学 | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| US11922630B2 (en) | 2019-01-25 | 2024-03-05 | The Johns Hopkins University | Predicting atrial fibrillation recurrence after pulmonary vein isolation using simulations of patient-specific magnetic resonance imaging models and machine learning |
| CN109949334B (zh) * | 2019-01-25 | 2022-10-04 | 广西科技大学 | 基于深度强化网络残差连接的轮廓检测方法 |
| US10373027B1 (en) * | 2019-01-30 | 2019-08-06 | StradVision, Inc. | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| CN109886159B (zh) * | 2019-01-30 | 2021-03-26 | 浙江工商大学 | 一种非限定条件下的人脸检测方法 |
| US11544572B2 (en) * | 2019-02-15 | 2023-01-03 | Capital One Services, Llc | Embedding constrained and unconstrained optimization programs as neural network layers |
| DE102019203024A1 (de) * | 2019-03-06 | 2020-09-10 | Robert Bosch Gmbh | Paddingverfahren für ein Convolutional Neural Network |
| CN109949318B (zh) * | 2019-03-07 | 2023-11-14 | 西安电子科技大学 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
| EP3716201A1 (en) | 2019-03-25 | 2020-09-30 | Siemens Healthcare GmbH | Medical image enhancement |
| CN110009619A (zh) * | 2019-04-02 | 2019-07-12 | 清华大学深圳研究生院 | 一种基于荧光编码的液相生物芯片的图像分析方法 |
| CN110101401B (zh) * | 2019-04-18 | 2023-04-07 | 浙江大学山东工业技术研究院 | 一种肝脏对比剂数字减影造影方法 |
| CN110111313B (zh) * | 2019-04-22 | 2022-12-30 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN113748443A (zh) | 2019-04-24 | 2021-12-03 | 普罗热尼奇制药公司 | 用于交互式调整核医学图像中的强度窗口设定的系统和方法 |
| TW202105407A (zh) | 2019-04-24 | 2021-02-01 | 美商普吉尼製藥公司 | 用於偵測轉移之骨掃描影像之自動及互動式分析系統及方法 |
| CN110047073B (zh) * | 2019-05-05 | 2021-07-06 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110969182A (zh) * | 2019-05-17 | 2020-04-07 | 丰疆智能科技股份有限公司 | 基于农田图像的卷积神经网络构建方法及其系统 |
| CN112396169B (zh) * | 2019-08-13 | 2024-04-02 | 上海寒武纪信息科技有限公司 | 运算方法、装置、计算机设备和存储介质 |
| US11328430B2 (en) * | 2019-05-28 | 2022-05-10 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for segmenting images |
| CN112102221A (zh) * | 2019-05-31 | 2020-12-18 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN110298366B (zh) * | 2019-07-05 | 2021-05-04 | 北华航天工业学院 | 农作物分布提取方法及装置 |
| US20210015438A1 (en) * | 2019-07-16 | 2021-01-21 | Siemens Healthcare Gmbh | Deep learning for perfusion in medical imaging |
| CN110599499B (zh) * | 2019-08-22 | 2022-04-19 | 四川大学 | 基于多路卷积神经网络的mri图像心脏结构分割方法 |
| CN110517241A (zh) * | 2019-08-23 | 2019-11-29 | 吉林大学第一医院 | 基于核磁成像ideal-iq序列全自动腹部脂肪定量分析的方法 |
| CN110619641A (zh) * | 2019-09-02 | 2019-12-27 | 南京信息工程大学 | 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法 |
| US10957031B1 (en) * | 2019-09-06 | 2021-03-23 | Accenture Global Solutions Limited | Intelligent defect detection from image data |
| CN110598784B (zh) * | 2019-09-11 | 2020-06-02 | 北京建筑大学 | 基于机器学习的建筑垃圾分类方法及装置 |
| JP7408325B2 (ja) * | 2019-09-13 | 2024-01-05 | キヤノン株式会社 | 情報処理装置、学習方法およびプログラム |
| ES2813777B2 (es) * | 2019-09-23 | 2023-10-27 | Quibim S L | Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral |
| CN114600171A (zh) * | 2019-09-24 | 2022-06-07 | 卡耐基梅隆大学 | 用于基于空间-时间数据来分析医学图像的系统和方法 |
| CN110675411B (zh) * | 2019-09-26 | 2023-05-16 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
| US11544407B1 (en) | 2019-09-27 | 2023-01-03 | Progenics Pharmaceuticals, Inc. | Systems and methods for secure cloud-based medical image upload and processing |
| US11900597B2 (en) | 2019-09-27 | 2024-02-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
| US11564621B2 (en) | 2019-09-27 | 2023-01-31 | Progenies Pharmacenticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
| US11331056B2 (en) * | 2019-09-30 | 2022-05-17 | GE Precision Healthcare LLC | Computed tomography medical imaging stroke model |
| US11545266B2 (en) | 2019-09-30 | 2023-01-03 | GE Precision Healthcare LLC | Medical imaging stroke model |
| US20210097390A1 (en) * | 2019-10-01 | 2021-04-01 | Chevron U.S.A. Inc. | Artificial learning fracture system and method for predicting permeability of hydrocarbon reservoirs |
| US11640552B2 (en) * | 2019-10-01 | 2023-05-02 | International Business Machines Corporation | Two stage training to obtain a best deep learning model with efficient use of computing resources |
| JP2022550413A (ja) * | 2019-10-02 | 2022-12-01 | メモリアル スローン ケタリング キャンサー センター | マルチクラス画像セグメンテーションのための深層多重倍率ネットワーク |
| CN112365504A (zh) * | 2019-10-29 | 2021-02-12 | 杭州脉流科技有限公司 | Ct左心室分割方法、装置、设备和存储介质 |
| US11232859B2 (en) * | 2019-11-07 | 2022-01-25 | Siemens Healthcare Gmbh | Artificial intelligence for basal and apical slice identification in cardiac MRI short axis acquisitions |
| KR20210056179A (ko) | 2019-11-08 | 2021-05-18 | 삼성전자주식회사 | Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법 |
| US11423544B1 (en) | 2019-11-14 | 2022-08-23 | Seg AI LLC | Segmenting medical images |
| US10762629B1 (en) | 2019-11-14 | 2020-09-01 | SegAI LLC | Segmenting medical images |
| CN110930383A (zh) * | 2019-11-20 | 2020-03-27 | 佛山市南海区广工大数控装备协同创新研究院 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
| CN110910368B (zh) * | 2019-11-20 | 2022-05-13 | 佛山市南海区广工大数控装备协同创新研究院 | 基于语义分割的注射器缺陷检测方法 |
| CN111161292B (zh) * | 2019-11-21 | 2023-09-05 | 合肥合工安驰智能科技有限公司 | 一种矿石尺度测量方法及应用系统 |
| EP3828828A1 (en) | 2019-11-28 | 2021-06-02 | Robovision | Improved physical object handling based on deep learning |
| CN111179149B (zh) * | 2019-12-17 | 2022-03-08 | Tcl华星光电技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110991408B (zh) * | 2019-12-19 | 2022-09-06 | 北京航空航天大学 | 基于深度学习方法分割脑白质高信号的方法和装置 |
| CN110739050B (zh) * | 2019-12-20 | 2020-07-28 | 深圳大学 | 一种左心室全参数及置信度的量化方法 |
| CN111144486B (zh) * | 2019-12-27 | 2022-06-10 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
| CN111260705B (zh) * | 2020-01-13 | 2022-03-15 | 武汉大学 | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 |
| CN111402203B (zh) * | 2020-02-24 | 2024-03-01 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111401373B (zh) * | 2020-03-04 | 2022-02-15 | 武汉大学 | 基于分组非对称卷积的高效语义分割方法 |
| CN111311737B (zh) * | 2020-03-04 | 2023-03-10 | 中南民族大学 | 心脏图像的三维建模方法、装置、设备及存储介质 |
| CN111281387B (zh) * | 2020-03-09 | 2024-03-26 | 中山大学 | 基于人工神经网络的左心房与心房瘢痕的分割方法及装置 |
| JP2023516775A (ja) | 2020-03-09 | 2023-04-20 | ナノトロニクス イメージング インコーポレイテッド | 欠陥検出システム |
| US11810303B2 (en) * | 2020-03-11 | 2023-11-07 | Purdue Research Foundation | System architecture and method of processing images |
| US11763456B2 (en) | 2020-03-11 | 2023-09-19 | Purdue Research Foundation | Systems and methods for processing echocardiogram images |
| CN111340816A (zh) * | 2020-03-23 | 2020-06-26 | 沈阳航空航天大学 | 一种基于双u型网络框架的图像分割方法 |
| CN111462060A (zh) * | 2020-03-24 | 2020-07-28 | 湖南大学 | 胎儿超声图像中标准切面图像的检测方法和装置 |
| US11205287B2 (en) | 2020-03-27 | 2021-12-21 | International Business Machines Corporation | Annotation of digital images for machine learning |
| US11704803B2 (en) * | 2020-03-30 | 2023-07-18 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and systems using video-based machine learning for beat-to-beat assessment of cardiac function |
| CN111466894B (zh) * | 2020-04-07 | 2023-03-31 | 上海深至信息科技有限公司 | 一种基于深度学习的射血分数计算方法及系统 |
| US20210319539A1 (en) * | 2020-04-13 | 2021-10-14 | GE Precision Healthcare LLC | Systems and methods for background aware reconstruction using deep learning |
| US11386988B2 (en) | 2020-04-23 | 2022-07-12 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
| US11321844B2 (en) | 2020-04-23 | 2022-05-03 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
| CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及系统 |
| CN111652886B (zh) * | 2020-05-06 | 2022-07-22 | 哈尔滨工业大学 | 一种基于改进U-net网络的肝肿瘤分割方法 |
| CN112330674B (zh) * | 2020-05-07 | 2023-06-30 | 南京信息工程大学 | 一种基于脑部mri三维图像置信度的自适应变尺度卷积核方法 |
| US11532084B2 (en) | 2020-05-11 | 2022-12-20 | EchoNous, Inc. | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification |
| US11523801B2 (en) | 2020-05-11 | 2022-12-13 | EchoNous, Inc. | Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured |
| CN111739028A (zh) * | 2020-05-26 | 2020-10-02 | 华南理工大学 | 指甲区域图像获取方法、系统、计算设备及存储介质 |
| US11222426B2 (en) * | 2020-06-02 | 2022-01-11 | Cape Analytics, Inc. | Method for property feature segmentation |
| WO2021255514A1 (en) * | 2020-06-15 | 2021-12-23 | Universidade Do Porto | Padding method for convolutional neural network layers adapted to perform multivariate time series analysis |
| CN111739000B (zh) * | 2020-06-16 | 2022-09-13 | 山东大学 | 一种提高多个心脏视图左心室分割精确度的系统及装置 |
| US11693919B2 (en) * | 2020-06-22 | 2023-07-04 | Shanghai United Imaging Intelligence Co., Ltd. | Anatomy-aware motion estimation |
| CN111798462B (zh) * | 2020-06-30 | 2022-10-14 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
| CN111754534A (zh) * | 2020-07-01 | 2020-10-09 | 杭州脉流科技有限公司 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
| US11216960B1 (en) * | 2020-07-01 | 2022-01-04 | Alipay Labs (singapore) Pte. Ltd. | Image processing method and system |
| US11721428B2 (en) | 2020-07-06 | 2023-08-08 | Exini Diagnostics Ab | Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions |
| EP3940629A1 (en) * | 2020-07-13 | 2022-01-19 | Koninklijke Philips N.V. | Image intensity correction in magnetic resonance imaging |
| CN112001887B (zh) * | 2020-07-20 | 2021-11-09 | 南通大学 | 用于婴幼儿脑病历图像分割的全卷积遗传神经网络方法 |
| CN111738268B (zh) * | 2020-07-22 | 2023-11-14 | 浙江大学 | 一种基于随机块的高分遥感图像的语义分割方法及系统 |
| CN111928794B (zh) * | 2020-08-04 | 2022-03-11 | 北京理工大学 | 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置 |
| CN111898211B (zh) * | 2020-08-07 | 2022-11-01 | 吉林大学 | 基于深度强化学习的智能车速度决策方法及其仿真方法 |
| CN112085162B (zh) * | 2020-08-12 | 2024-02-09 | 北京师范大学 | 基于神经网络的磁共振脑组织分割方法、装置、计算设备及存储介质 |
| CN111968112B (zh) * | 2020-09-02 | 2023-12-26 | 广州海兆印丰信息科技有限公司 | Ct三维定位图像的获取方法、装置和计算机设备 |
| TWI792055B (zh) * | 2020-09-25 | 2023-02-11 | 國立勤益科技大學 | 利用三維深度學習之心臟超音波判斷模型之建立方法、利用三維深度學習之心臟超音波判斷系統及其方法 |
| WO2022061840A1 (en) * | 2020-09-27 | 2022-03-31 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating radiation therapy plan |
| US11601661B2 (en) * | 2020-10-09 | 2023-03-07 | Tencent America LLC | Deep loop filter by temporal deformable convolution |
| US20220114699A1 (en) * | 2020-10-09 | 2022-04-14 | The Regents Of The University Of California | Spatiotemporal resolution enhancement of biomedical images |
| US11749401B2 (en) | 2020-10-30 | 2023-09-05 | Guerbet | Seed relabeling for seed-based segmentation of a medical image |
| US11688063B2 (en) | 2020-10-30 | 2023-06-27 | Guerbet | Ensemble machine learning model architecture for lesion detection |
| US11436724B2 (en) | 2020-10-30 | 2022-09-06 | International Business Machines Corporation | Lesion detection artificial intelligence pipeline computing system |
| US11587236B2 (en) | 2020-10-30 | 2023-02-21 | International Business Machines Corporation | Refining lesion contours with combined active contour and inpainting |
| US11694329B2 (en) | 2020-10-30 | 2023-07-04 | International Business Machines Corporation | Logistic model to determine 3D z-wise lesion connectivity |
| US11688517B2 (en) | 2020-10-30 | 2023-06-27 | Guerbet | Multiple operating point false positive removal for lesion identification |
| US11636593B2 (en) | 2020-11-06 | 2023-04-25 | EchoNous, Inc. | Robust segmentation through high-level image understanding |
| CN112634243B (zh) * | 2020-12-28 | 2022-08-05 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
| CN112651987A (zh) * | 2020-12-30 | 2021-04-13 | 内蒙古自治区农牧业科学院 | 一种样方草地覆盖度计算方法及系统 |
| CN112750106B (zh) * | 2020-12-31 | 2022-11-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112712527A (zh) * | 2020-12-31 | 2021-04-27 | 山西三友和智慧信息技术股份有限公司 | 一种基于DR-Unet104的医疗图像分割方法 |
| CN112734770B (zh) * | 2021-01-06 | 2022-11-25 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
| CN112767413B (zh) * | 2021-01-06 | 2022-03-15 | 武汉大学 | 综合区域连通和共生知识约束的遥感影像深度语义分割方法 |
| CN112932535B (zh) * | 2021-02-01 | 2022-10-18 | 杜国庆 | 一种医学图像分割及检测方法 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| EP4060608A1 (en) | 2021-03-17 | 2022-09-21 | Robovision | Improved vision-based measuring |
| EP4060612A1 (en) | 2021-03-17 | 2022-09-21 | Robovision | Improved orientation detection based on deep learning |
| US20220335615A1 (en) * | 2021-04-19 | 2022-10-20 | Fujifilm Sonosite, Inc. | Calculating heart parameters |
| CN112989107B (zh) * | 2021-05-18 | 2021-07-30 | 北京世纪好未来教育科技有限公司 | 音频分类和分离方法、装置、电子设备以及存储介质 |
| CN113469948B (zh) * | 2021-06-08 | 2022-02-25 | 北京安德医智科技有限公司 | 左心室节段识别方法及装置、电子设备和存储介质 |
| CN113284074B (zh) * | 2021-07-12 | 2021-12-07 | 中德（珠海）人工智能研究院有限公司 | 全景图像的目标对象去除方法、装置、服务器及存储介质 |
| US11875559B2 (en) * | 2021-07-12 | 2024-01-16 | Obvio Health Usa, Inc. | Systems and methodologies for automated classification of images of stool in diapers |
| EP4343708A1 (en) * | 2021-07-12 | 2024-03-27 | Shanghai United Imaging Healthcare Co., Ltd. | Method and apparatus for training machine learning models, computer device, and storage medium |
| CN113674235B (zh) * | 2021-08-15 | 2023-10-10 | 上海立芯软件科技有限公司 | 一种基于主动熵采样和模型校准的低代价光刻热点检测方法 |
| CN113838001B (zh) * | 2021-08-24 | 2024-02-13 | 内蒙古电力科学研究院 | 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置 |
| CN113838027A (zh) * | 2021-09-23 | 2021-12-24 | 杭州柳叶刀机器人有限公司 | 基于图像处理获取目标图像元素的方法及系统 |
| US20230126963A1 (en) * | 2021-10-25 | 2023-04-27 | Analogic Corporation | Prediction of extrema of respiratory motion and related systems, methods, and devices |
| WO2023075480A1 (ko) * | 2021-10-28 | 2023-05-04 | 주식회사 온택트헬스 | 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치 |
| US20230162493A1 (en) * | 2021-11-24 | 2023-05-25 | Riverain Technologies Llc | Method for the automatic detection of aortic disease and automatic generation of an aortic volume |
| CN114240951B (zh) * | 2021-12-13 | 2023-04-07 | 电子科技大学 | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 |
| CN114549448B (zh) * | 2022-02-17 | 2023-08-11 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法 |
| WO2023183486A1 (en) * | 2022-03-23 | 2023-09-28 | University Of Southern California | Deep-learning-driven accelerated mr vessel wall imaging |
| CN117197020A (zh) * | 2022-05-23 | 2023-12-08 | 上海微创卜算子医疗科技有限公司 | 二尖瓣开口间距检测方法、电子设备和存储介质 |
| WO2023235653A1 (en) * | 2022-05-30 | 2023-12-07 | Northwestern University | Panatomic imaging derived 4d hemodynamics using deep learning |
| CN115471659B (zh) * | 2022-09-22 | 2023-04-25 | 北京航星永志科技有限公司 | 语义分割模型的训练方法、分割方法和电子设备 |
| CN117036376B (zh) * | 2023-10-10 | 2024-01-30 | 四川大学 | 基于人工智能的病变图像分割方法、装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013537445A (ja) * | 2010-07-26 | 2013-10-03 | ケイジャヤ、エルエルシー | 内科医が直接用いるのに適応したビジュアライゼーション |
Family Cites Families (110)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5115812A (en) | 1988-11-30 | 1992-05-26 | Hitachi, Ltd. | Magnetic resonance imaging method for moving object |
| JP2776844B2 (ja) | 1988-11-30 | 1998-07-16 | 株式会社日立製作所 | 磁気共鳴動体イメージング装置 |
| JP3137378B2 (ja) | 1991-09-25 | 2001-02-19 | 株式会社東芝 | 磁気共鳴イメージング装置 |
| JP3452400B2 (ja) | 1994-08-02 | 2003-09-29 | 株式会社日立メディコ | 磁気共鳴イメージング装置 |
| JP3501182B2 (ja) | 1994-11-22 | 2004-03-02 | 株式会社日立メディコ | 流速画像を算出できる磁気共鳴イメージング装置 |
| JP2000506642A (ja) | 1996-02-09 | 2000-05-30 | サーノフ コーポレイション | 不確定の訓練データを用いてオブジェクトを検出及び分類するようにニューラルネットワークを訓練する方法及び装置 |
| US6324532B1 (en) | 1997-02-07 | 2001-11-27 | Sarnoff Corporation | Method and apparatus for training a neural network to detect objects in an image |
| AU4827700A (en) | 1999-05-05 | 2000-11-17 | Healthgram, Inc. | Portable health record |
| US6711433B1 (en) | 1999-09-30 | 2004-03-23 | Siemens Corporate Research, Inc. | Method for providing a virtual contrast agent for augmented angioscopy |
| US8166381B2 (en) | 2000-12-20 | 2012-04-24 | Heart Imaging Technologies, Llc | Medical image management system |
| US6934698B2 (en) | 2000-12-20 | 2005-08-23 | Heart Imaging Technologies Llc | Medical image management system |
| DE10117685C2 (de) | 2001-04-09 | 2003-02-27 | Siemens Ag | Verfahren zur Bearbeitung von Objekten eines standardisierten Kommunikationsprotokolls |
| US7139417B2 (en) | 2001-08-14 | 2006-11-21 | Ge Medical Systems Global Technology Company Llc | Combination compression and registration techniques to implement temporal subtraction as an application service provider to detect changes over time to medical imaging |
| US7158692B2 (en) | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
| US7355597B2 (en) | 2002-05-06 | 2008-04-08 | Brown University Research Foundation | Method, apparatus and computer program product for the interactive rendering of multivalued volume data with layered complementary values |
| GB0219408D0 (en) | 2002-08-20 | 2002-09-25 | Mirada Solutions Ltd | Computation o contour |
| CN100377165C (zh) | 2003-04-24 | 2008-03-26 | 皇家飞利浦电子股份有限公司 | 无创式左心室的容积测定 |
| US7254436B2 (en) | 2003-05-30 | 2007-08-07 | Heart Imaging Technologies, Llc | Dynamic magnetic resonance angiography |
| US7805177B2 (en) | 2004-06-23 | 2010-09-28 | M2S, Inc. | Method for determining the risk of rupture of a blood vessel |
| US7292032B1 (en) | 2004-09-28 | 2007-11-06 | General Electric Company | Method and system of enhanced phase suppression for phase-contrast MR imaging |
| US7127095B2 (en) | 2004-10-15 | 2006-10-24 | The Brigham And Women's Hospital, Inc. | Factor analysis in medical imaging |
| EP1659511A1 (en) | 2004-11-18 | 2006-05-24 | Cedara Software Corp. | Image archiving system and method for handling new and legacy archives |
| US7736313B2 (en) | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
| US8000768B2 (en) | 2005-01-10 | 2011-08-16 | Vassol Inc. | Method and system for displaying blood flow |
| US20070061460A1 (en) | 2005-03-24 | 2007-03-15 | Jumpnode Systems,Llc | Remote access |
| US7567707B2 (en) | 2005-12-20 | 2009-07-28 | Xerox Corporation | Red eye detection and correction |
| CN101243980B (zh) | 2006-12-04 | 2010-12-22 | 株式会社东芝 | X射线计算机断层成像装置和医用图像处理装置 |
| US7764846B2 (en) | 2006-12-12 | 2010-07-27 | Xerox Corporation | Adaptive red eye correction |
| US8369590B2 (en) * | 2007-05-21 | 2013-02-05 | Cornell University | Method for segmenting objects in images |
| US8098918B2 (en) | 2007-09-21 | 2012-01-17 | Siemens Corporation | Method and system for measuring left ventricle volume |
| US7806843B2 (en) | 2007-09-25 | 2010-10-05 | Marin Luis E | External fixator assembly |
| JP5191787B2 (ja) | 2008-04-23 | 2013-05-08 | 株式会社日立メディコ | Ｘ線ｃｔ装置 |
| US8483466B2 (en) | 2008-05-22 | 2013-07-09 | Hitachi Medical Corporation | Magnetic resonance imaging apparatus and blood vessel image acquiring method |
| FR2932599A1 (fr) | 2008-06-12 | 2009-12-18 | Eugene Franck Maizeroi | Procede et dispositif de traitement d'image, notamment pour le traitement d'images medicales pour la determination de vo lumes 3d |
| US8379961B2 (en) | 2008-07-03 | 2013-02-19 | Nec Laboratories America, Inc. | Mitotic figure detector and counter system and method for detecting and counting mitotic figures |
| US20110230756A1 (en) | 2008-09-30 | 2011-09-22 | University Of Cape Town | Fluid flow assessment |
| JP5422171B2 (ja) | 2008-10-01 | 2014-02-19 | 株式会社東芝 | Ｘ線画像診断装置 |
| US8148984B2 (en) | 2008-10-03 | 2012-04-03 | Wisconsin Alumni Research Foundation | Method for magnitude constrained phase contrast magnetic resonance imaging |
| US8301224B2 (en) | 2008-10-09 | 2012-10-30 | Siemens Aktiengesellschaft | System and method for automatic, non-invasive diagnosis of pulmonary hypertension and measurement of mean pulmonary arterial pressure |
| EP2355702A1 (en) | 2008-11-13 | 2011-08-17 | Avid Radiopharmaceuticals, Inc. | Histogram-based analysis method for the detection and diagnosis of neurodegenerative diseases |
| US20100158332A1 (en) | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
| US8457373B2 (en) | 2009-03-16 | 2013-06-04 | Siemens Aktiengesellschaft | System and method for robust 2D-3D image registration |
| US8527037B2 (en) * | 2009-04-06 | 2013-09-03 | Sorin Crm S.A.S. | Reconstruction of a surface electrocardiogram from an endocardial electrogram using non-linear filtering |
| US10303986B2 (en) | 2009-04-07 | 2019-05-28 | Kayvan Najarian | Automated measurement of brain injury indices using brain CT images, injury data, and machine learning |
| US8527251B2 (en) | 2009-05-01 | 2013-09-03 | Siemens Aktiengesellschaft | Method and system for multi-component heart and aorta modeling for decision support in cardiac disease |
| JP4639347B1 (ja) | 2009-11-20 | 2011-02-23 | 株式会社墨運堂 | 筆記具 |
| US20110182493A1 (en) | 2010-01-25 | 2011-07-28 | Martin Huber | Method and a system for image annotation |
| US8805048B2 (en) | 2010-04-01 | 2014-08-12 | Mark Batesole | Method and system for orthodontic diagnosis |
| US9607373B2 (en) | 2010-08-13 | 2017-03-28 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
| US8897519B2 (en) | 2010-09-28 | 2014-11-25 | Siemens Aktiengesellschaft | System and method for background phase correction for phase contrast flow images |
| US8374414B2 (en) | 2010-11-05 | 2013-02-12 | The Hong Kong Polytechnic University | Method and system for detecting ischemic stroke |
| CN103262120B (zh) | 2010-12-09 | 2017-03-22 | 皇家飞利浦电子股份有限公司 | 图像数据的体积描绘 |
| US8600476B2 (en) | 2011-04-21 | 2013-12-03 | Siemens Aktiengesellschaft | Patient support table control system for use in MR imaging |
| US20140313222A1 (en) | 2011-06-27 | 2014-10-23 | Koninklijke Philips Electronics N.V. | Anatomical tagging of findings in image data of serial studies |
| JP6006307B2 (ja) | 2011-07-07 | 2016-10-12 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | ボリューム測定位相コントラストｍｒｉによる総合的心血管解析 |
| US9585568B2 (en) | 2011-09-11 | 2017-03-07 | Steven D. Wolff | Noninvasive methods for determining the pressure gradient across a heart valve without using velocity data at the valve orifice |
| US8837800B1 (en) | 2011-10-28 | 2014-09-16 | The Board Of Trustees Of The Leland Stanford Junior University | Automated detection of arterial input function and/or venous output function voxels in medical imaging |
| US8682049B2 (en) | 2012-02-14 | 2014-03-25 | Terarecon, Inc. | Cloud-based medical image processing system with access control |
| US9014781B2 (en) | 2012-04-19 | 2015-04-21 | General Electric Company | Systems and methods for magnetic resonance angiography |
| US9165360B1 (en) | 2012-09-27 | 2015-10-20 | Zepmed, Llc | Methods, systems, and devices for automated analysis of medical scans |
| US9495752B2 (en) | 2012-09-27 | 2016-11-15 | Siemens Product Lifecycle Management Software Inc. | Multi-bone segmentation for 3D computed tomography |
| WO2014120953A1 (en) | 2013-01-31 | 2014-08-07 | The Regents Of The University Of California | Method for accurate and robust cardiac motion self-gating in magnetic resonance imaging |
| US9898659B2 (en) | 2013-05-19 | 2018-02-20 | Commonwealth Scientific And Industrial Research Organisation | System and method for remote medical diagnosis |
| WO2015031576A1 (en) * | 2013-08-28 | 2015-03-05 | Siemens Aktiengesellschaft | Systems and methods for estimating physiological heart measurements from medical images and clinical data |
| US9741116B2 (en) | 2013-08-29 | 2017-08-22 | Mayo Foundation For Medical Education And Research | System and method for boundary classification and automatic polyp detection |
| US9406142B2 (en) | 2013-10-08 | 2016-08-02 | The Trustees Of The University Of Pennsylvania | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling |
| US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US9700219B2 (en) | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| US20150139517A1 (en) | 2013-11-15 | 2015-05-21 | University Of Iowa Research Foundation | Methods And Systems For Calibration |
| EP3082575A2 (en) * | 2013-12-19 | 2016-10-26 | Cardiac Pacemakers, Inc. | System and method for locating neural tissue |
| JP6301133B2 (ja) | 2014-01-14 | 2018-03-28 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置 |
| CN106170246A (zh) | 2014-01-17 | 2016-11-30 | 阿特瑞斯公司 | 用于四维(4d)流磁共振成像的设备、方法和产品 |
| US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
| KR20150098119A (ko) | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
| US20150324690A1 (en) | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
| EP4343707A3 (en) | 2014-05-15 | 2024-04-24 | Brainlab AG | Indication-dependent display of a medical image |
| KR20160010157A (ko) | 2014-07-18 | 2016-01-27 | 삼성전자주식회사 | 차원 축소 기반 3차원 컴퓨터 보조 진단 장치 및 방법 |
| US9707400B2 (en) | 2014-08-15 | 2017-07-18 | Medtronic, Inc. | Systems, methods, and interfaces for configuring cardiac therapy |
| EP3043318B1 (en) | 2015-01-08 | 2019-03-13 | Imbio | Analysis of medical images and creation of a report |
| KR20190047108A (ko) | 2015-03-03 | 2019-05-07 | 난토믹스, 엘엘씨 | 앙상블-기반 연구 추천 시스템 및 방법 |
| US10115194B2 (en) | 2015-04-06 | 2018-10-30 | IDx, LLC | Systems and methods for feature detection in retinal images |
| US9633306B2 (en) | 2015-05-07 | 2017-04-25 | Siemens Healthcare Gmbh | Method and system for approximating deep neural networks for anatomical object detection |
| US10176408B2 (en) | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| WO2017031088A1 (en) | 2015-08-15 | 2017-02-23 | Salesforce.Com, Inc | Three-dimensional (3d) convolution with 3d batch normalization |
| US9569736B1 (en) | 2015-09-16 | 2017-02-14 | Siemens Healthcare Gmbh | Intelligent medical image landmark detection |
| US9792531B2 (en) | 2015-09-16 | 2017-10-17 | Siemens Healthcare Gmbh | Intelligent multi-scale medical image landmark detection |
| US10192129B2 (en) | 2015-11-18 | 2019-01-29 | Adobe Systems Incorporated | Utilizing interactive deep learning to select objects in digital visual media |
| US10871536B2 (en) | 2015-11-29 | 2020-12-22 | Arterys Inc. | Automated cardiac volume segmentation |
| CN108369642A (zh) | 2015-12-18 | 2018-08-03 | 加利福尼亚大学董事会 | 根据头部计算机断层摄影解释和量化急症特征 |
| US10163028B2 (en) | 2016-01-25 | 2018-12-25 | Koninklijke Philips N.V. | Image data pre-processing |
| DE102016204225B3 (de) | 2016-03-15 | 2017-07-20 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur automatischen Erkennung von anatomischen Landmarken und Vorrichtung |
| CN105825509A (zh) | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
| US9886758B2 (en) | 2016-03-31 | 2018-02-06 | International Business Machines Corporation | Annotation of skin image using learned feature representation |
| CN205665697U (zh) | 2016-04-05 | 2016-10-26 | 陈进民 | 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统 |
| CN106127725B (zh) | 2016-05-16 | 2019-01-22 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
| CN106096632A (zh) | 2016-06-02 | 2016-11-09 | 哈尔滨工业大学 | 基于深度学习和mri图像的心室功能指标预测方法 |
| CN106096616A (zh) | 2016-06-08 | 2016-11-09 | 四川大学华西医院 | 一种基于深度学习的磁共振影像特征提取及分类方法 |
| US9589374B1 (en) | 2016-08-01 | 2017-03-07 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
| US10582907B2 (en) | 2016-10-31 | 2020-03-10 | Siemens Healthcare Gmbh | Deep learning based bone removal in computed tomography angiography |
| US10600184B2 (en) | 2017-01-27 | 2020-03-24 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| US10373313B2 (en) | 2017-03-02 | 2019-08-06 | Siemens Healthcare Gmbh | Spatially consistent multi-scale anatomical landmark detection in incomplete 3D-CT data |
| BR112019022447A2 (pt) | 2017-04-27 | 2020-06-09 | Bober Miroslaw | sistema e método para análise de imagem funduscópica automatizada |
| EP3629898A4 (en) | 2017-05-30 | 2021-01-20 | Arterys Inc. | AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION |
| CN107341265B (zh) | 2017-07-20 | 2020-08-14 | 东北大学 | 一种融合深度特征的乳腺图像检索系统与方法 |
| US11551353B2 (en) | 2017-11-22 | 2023-01-10 | Arterys Inc. | Content based image retrieval for lesion analysis |
| US10902591B2 (en) | 2018-02-09 | 2021-01-26 | Case Western Reserve University | Predicting pathological complete response to neoadjuvant chemotherapy from baseline breast dynamic contrast enhanced magnetic resonance imaging (DCE-MRI) |
| KR101952887B1 (ko) | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
| KR102575569B1 (ko) | 2018-08-13 | 2023-09-07 | 쑤저우 레킨 세미컨덕터 컴퍼니 리미티드 | 반도체 소자 |
| JP7125312B2 (ja) | 2018-09-07 | 2022-08-24 | 富士フイルムヘルスケア株式会社 | 磁気共鳴撮像装置、画像処理装置、及び、画像処理方法 |
| US10646156B1 (en) | 2019-06-14 | 2020-05-12 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
-
2018
- 2018-01-25 US US15/879,732 patent/US10600184B2/en active Active
- 2018-01-25 US US15/879,742 patent/US10902598B2/en active Active
- 2018-01-25 WO PCT/US2018/015222 patent/WO2018140596A2/en unknown
- 2018-01-25 JP JP2019540646A patent/JP2020510463A/ja active Pending
- 2018-01-25 CN CN201880020558.2A patent/CN110475505B/zh not_active Expired - Fee Related
- 2018-01-25 EP EP18745114.1A patent/EP3573520A4/en not_active Withdrawn
-
2020
- 2020-02-25 US US16/800,922 patent/US20200193603A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013537445A (ja) * | 2010-07-26 | 2013-10-03 | ケイジャヤ、エルエルシー | 内科医が直接用いるのに適応したビジュアライゼーション |
Non-Patent Citations (3)
| Title |
|---|
| ADAM PASZKE, ET AL.: "ENet: Deep Network Architecture for Real-time Semantic Segmentation", ARXIV, vol. 1606.02147v1, JPN7022000090, 2016, ISSN: 0004845392 * |
| KAIMING HE, ET AL.: "Deep Residual Learning for Image Recognition", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN7022000091, 2016, pages 770 - 778, XP033021254, ISSN: 0004845393, DOI: 10.1109/CVPR.2016.90 * |
| OLAF RONNEBERGER, ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION-MICCAI 2015, JPN7022000089, 2015, pages 234 - 241, XP055786949, ISSN: 0004845391, DOI: 10.1007/978-3-319-24574-4_28 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020038663A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ストラドビジョン | 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180218497A1 (en) | 2018-08-02 |
| WO2018140596A2 (en) | 2018-08-02 |
| US20200193603A1 (en) | 2020-06-18 |
| WO2018140596A3 (en) | 2018-09-07 |
| US20180218502A1 (en) | 2018-08-02 |
| EP3573520A2 (en) | 2019-12-04 |
| CN110475505A (zh) | 2019-11-19 |
| US10600184B2 (en) | 2020-03-24 |
| EP3573520A4 (en) | 2020-11-04 |
| US10902598B2 (en) | 2021-01-26 |
| CN110475505B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200193603A1 (en) | Automated segmentation utilizing fully convolutional networks | |
| US10871536B2 (en) | Automated cardiac volume segmentation | |
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| Mahapatra et al. | Image super-resolution using progressive generative adversarial networks for medical image analysis | |
| Chakravarty et al. | RACE-net: a recurrent neural network for biomedical image segmentation | |
| Jolly | Automatic segmentation of the left ventricle in cardiac MR and CT images | |
| Häme et al. | Semi-automatic liver tumor segmentation with hidden Markov measure field model and non-parametric distribution estimation | |
| EP1851722B8 (en) | Image processing device and method | |
| Abdeltawab et al. | A deep learning-based approach for automatic segmentation and quantification of the left ventricle from cardiac cine MR images | |
| Xia et al. | Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning | |
| Santiago et al. | Fast segmentation of the left ventricle in cardiac MRI using dynamic programming | |
| Kim et al. | Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks | |
| Bernier et al. | Graph cut-based method for segmenting the left ventricle from MRI or echocardiographic images | |
| Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
| Sanchez-Ortiz et al. | Knowledge-based tensor anisotropic diffusion of cardiac magnetic resonance images | |
| Sander et al. | Reconstruction and completion of high-resolution 3D cardiac shapes using anisotropic CMRI segmentations and continuous implicit neural representations | |
| Ribeiro et al. | Left ventricle segmentation combining deep learning and deformable models with anatomical constraints | |
| Arega et al. | Using Polynomial Loss and Uncertainty Information for Robust Left Atrial and Scar Quantification and Segmentation | |
| Niu et al. | Structured graph regularized shape prior and cross-entropy induced active contour model for myocardium segmentation in CTA images | |
| CN112862785A (zh) | Cta影像数据识别方法、装置及存储介质 | |
| CN112862786A (zh) | Cta影像数据处理方法、装置及存储介质 | |
| Pereira | A comparison of deep learning algorithms for medical image classification and image enhancement | |
| Amor | Bone segmentation and extrapolation in Cone-Beam Computed Tomography | |
| Pérez-Pelegrí et al. | Convolutional Neural Networks for Segmentation in Short-Axis Cine Cardiac Magnetic Resonance Imaging: Review and Considerations | |
| Oria | Computational Intelligence for Abdominal Aortic Aneurysm Imaging Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220809 |