JP2022522960A

JP2022522960A - 動脈画像領域及びそれらの特徴を分類するシステム及び方法

Info

Publication number: JP2022522960A
Application number: JP2021540465A
Authority: JP
Inventors: リー，シィーミィン; ゴピナート，アジャイ; サヴィジ，カイル
Original assignee: ライトラボ・イメージング・インコーポレーテッド
Priority date: 2019-01-13
Filing date: 2020-01-13
Publication date: 2022-04-21
Also published as: CN113544737A; EP3909016A1; US20230162367A1; WO2020146905A1; US20230326032A1; US20230274440A1; US20240281980A1; US11250294B2; US20200226422A1; US11741613B2; US20220114388A1

Abstract

部分的に、本開示は、機械学習（ＭＬ）方法及びシステムを使用して患者からの画像データをリアルタイム又は実質的にリアルタイムで評価するのに適した方法及びシステムに関する。極表現を有する血管内画像に関連した特定の問題に適用される機械学習技法を使用して心臓専門医及び撮像専門家等のエンドユーザの診断ツールを改良する、システム及び方法を提供する。さらに、回転プローブを使用してＯＣＴ、ＩＶＵＳの画像データ、及び他の撮像データを取得することを考えると、それらに関連した２つの座標系を取り扱うことが課題をもたらす。本開示は、これらの課題と、カテラボにおいて単一のセッションの間にステント留置及び他の手技を適用することができるように患者を迅速に撮像及び診断するという問題を解くことに関係した非常に多くの他の課題とに対処する。【選択図】図１Ｃ

Description

部分的に、本出願は、動脈を撮像すること、並びに、それらの構成部分をセグメンテーション及び特徴付けることに関する。具体的には、いくつかの実施の形態において、本出願は、動脈組織並びに関係した動脈の関心領域及び関心特徴を特徴付けること及び／又は分類することへの機械学習の適用に関する。

［関連出願の相互参照］
本出願は２０１９年１月１３日に出願された米国仮特許出願第６２／７９１，８７６号に対する優先権及びその利益を主張するものであり、その開示全体を引用することにより本明細書の一部をなすものとする。

光コヒーレンス断層撮影法（ＯＣＴ：optical coherence tomography）は、眼科学、心臓学、胃腸病学及び他の医学分野において広範な用途を有する干渉撮像技法である。小径光ファイバプローブを通じて高解像度を有する表面下構造を視認することができることによって、ＯＣＴは、内部組織及び内部器官の侵襲的撮像を最小限にするのに特に有用になる。ＯＣＴシステムは、１００フレーム毎秒までの画像を生成することができ、これによって、鼓動する心臓動脈における冠動脈の数秒内の撮像が可能になる。ＯＣＴは、時間領域（ＴＤ－ＯＣＴ：time domain OCT）及び周波数領域（フーリエ領域ＯＣＴ又は光周波数領域撮像（ＯＦＤＩ：optical frequency domain imaging））の双方において実施することができる。ＯＣＴは、血管内超音波法（ＩＶＵＳ：intravascular ultrasound）、血管造影法、蛍光透視法、Ｘ線ベースの撮像システム、及び他の撮像技術等の様々な他の撮像技術とともに使用することができる。

患者の身体の各部分のＯＣＴ撮像は、医師が処置の最良のタイプとコースを判断するための有用なツールを提供する。例えば、血管内ＯＣＴによる冠動脈の撮像は、狭窄のロケーション、脆弱性プラークの存在、又はアテローム性プラークのタイプを明らかにすることができる。この情報は、心臓専門医が、薬物療法（例えば、コレステロール低下薬投与）、血管形成術及びステント留置術のようなカテーテルベースの治療、又は冠動脈バイパス手術のような侵襲的な外科手技のいずれの処置が最も良く患者のためになるのかを選ぶ助けとなる。臨床医学におけるその適用に加えて、ＯＣＴは、動物実験及び臨床試験における医薬品開発にも非常に有用である。

正常な動脈は、内膜、中膜及び外膜からなる一貫した層状構造を有する。アテローム性動脈硬化のプロセスの結果として、内膜は病理学的に肥厚し、繊維質、プロテオグリカン、脂質及びカルシウム、並びにマクロファージ及び他の炎症細胞を含む種々のタイプの組織から構成されるプラークを含み得る。これらの組織タイプは、手動測定及び撮像技術によって測定することができる異なる光学特性を有する。最も病理的に重要であると考えられるプラークは、脂質プールを下層に伴う線維皮膜を有するいわゆる脆弱性プラークである。

通常のＯＣＴ撮像システムでは、カテーテルに搭載された光プローブが、冠血管等の内部の注目点へと慎重に操作される。そして、光ビームが送信され、後方散乱された信号が、干渉計を使用してコヒーレント検出を通じて受信される。プローブが所定のライン又はエリアを通って走査されるにつれて、多くのデータラインを収集することができる。そして、画像（２Ｄ又は３Ｄ）が、既知の技法を使用して復元される。この画像は、そして、心臓専門医によって視覚的に解析され、血管壁肥厚及びプラーク組成等の病理学的特徴が評価される。

組織タイプは、画面上のその外観によって特定されるので、（組織タイプ等の）或る特定の情報を容易に視認することができないことから、誤りが解析に生じる場合がある。目視検査によって正確に分類することが困難である所与の患者の動脈、器官、又は他の身体部分に関する関心のある様々な他の構成部分又は領域は、実質上全ての医学分野において現れる。したがって、画像データにおいて様々なターゲットを検出し、これらのターゲットをエンドユーザに表すシステム及び方法が必要とされている。本開示は、これらの課題及び他の課題に対処する。

１つ以上のコンピュータからなるシステムは、動作中にこのシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせがこのシステムにインストールされることによって、特定の動作又はアクションを実行するように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、この装置にアクションを実行させる命令を含むことによって、特定の動作又はアクションを実行するように構成することができる。１つの包括的な態様は、１つ以上の機械学習システム（ＭＬＳ：machine learning system）を使用して冠動脈を評価する方法を含む。

１つの実施の形態において、本開示は、様々な方法ステップに関する。前記方法は、極画像（polar image）のフレームを含む画像データのセットを取得することと、注釈が付けられた各領域又は特徴がグラウンドトゥルース注釈（ground truth annotation）となるように、前記画像データのセットの各極画像における１つ以上の関心領域又は関心特徴に注釈を付けることと、注釈が付けられた極画像の前記セットを使用して機械学習システムのニューラルネットワークをトレーニングすることであって、各極画像における複数の領域のそれぞれはクラスによって特定されることと、トレーニングされた前記ニューラルネットワークに極画像データを入力することと、色分けされた領域を含み、各色がそれぞれクラスに対応する予測出力画像を表示することとを含むことができる。

１つの実施の形態において、前記システムは、関連付けられたメモリを有する１つ以上のＡＩプロセッサを含み、１つ以上のトレーニングされたソフトウェアベースのニューラルネットワークが、１つ以上のＡＩプロセッサ上で実行される。前記機械学習システムは、畳み込みニューラルネットワークを含むことができる。前記方法は、動脈画像データ等の画像データのセットを取得することを含むことができる。１つの実施の形態において、前記画像データは血管内画像データを含む。１つの実施の形態において、前記画像データは極画像を含む。前記方法は、注釈が付けられた各領域又は特徴がグラウンドトゥルース注釈となるように、前記画像のセットの各極画像における１つ以上の関心領域又は関心特徴に注釈を付けることを含むことができる。前記グラウンドトゥルース注釈は、グラウンドトゥルースマスクのセットとしてメモリに記憶することができる。前記方法は、前記グラウンドトゥルースマスクのセット等を通じて、注釈が付けられた極画像のセットを使用して機械学習システムのニューラルネットワークをトレーニングすることを含むことができる。１つの実施の形態において、１つのグラウンドトゥルースマスクは、特定の特徴又はチャネルに対応する関心領域を含む。

したがって、グラウンドトゥルースマスクの第１の領域は第１の特徴に対応することができ、グラウンドトゥルースマスクの第２の領域は第２の特徴に対応することができる。この対応関係は、Ｍ個の特徴及びＰ個の領域に適用することができ、各特徴は１つ以上の領域に対応する。一例として、カルシウムの２つ以上の領域、管腔の領域、及び内膜の領域は、１つのグラウンドトゥルースマスクの一部とすることができるとともに、クラス又はタイプによるそれらの分類は、そのように分類／セグメンテーションされる各領域を有するカルシウム、管腔及び内膜である。１つの実施の形態において、グラウンドトゥルースマスクは、ユーザからの入力画像データ内のどの領域が特定の特徴又はチャネルに対応するのかを検出／予測するようにニューラルネットワークをトレーニングするのに使用される。１つの実施の形態において、前記方法は、極画像データ等の画像データ及び／又はグラウンドトゥルースマスクを前記ニューラルネットワークに入力して、前記ニューラルネットワークをトレーニングすることを含む。前記ニューラルネットワークは、複数の特徴／チャネルを誤差閾値内で有効に検出することができるまで１つ以上のエポックにわたってトレーニングされる。１つの実施の形態において、前記方法は、極画像データ等の画像データをトレーニングされたニューラルネットワークに入力することと、機械学習システムからの予測出力画像を表示することとを含む。１つの実施の形態において、グラウンドトゥルース画像マスクは、ユーザインタフェースにおいて画像の描写に注釈を付けることに応答して生成される。様々な実施の形態において、極画像は、そのようなユーザインタフェースにおいて注釈が付けられる。前記ニューラルネットワークは、本明細書に開示されるＰｙＴｏｒｃｈ、ＬｉｂＴｏｒｃｈ等の１つ以上のソフトウェアアプリケーションにおいて実施される。この態様の他の実施の形態は、それぞれが前記方法のアクションを実行するように構成される対応するコンピュータシステムと、装置と、１つ以上のコンピュータ記憶デバイスに記録されるコンピュータプログラムとを含む。

実施態様は、次のプロセス又はステップのうちの１つ以上を含むことができる。１つの実施の形態において、各画像は、前記冠動脈に関する複数の画像データ要素を含む。１つの実施の形態において、注釈を付けることは、関心特徴を画定するピクセルのグループ又は２次元境界を選択するユーザ制御を含むグラフィカルユーザインタフェースを用いて行われる。１つの実施の形態において、前記ニューラルネットワークの前記トレーニングは、コスト関数の出力が閾値以下となるまで繰り返され、前記コスト関数は、機械学習システム（ＭＬＳ：machine learning system）の予測出力をグラウンドトゥルース入力と比較する。様々な実施の形態において、コスト関数に関連した誤差を測定するのにクロスエントロピー評価が使用される。前記方法は、各極画像の前記１つ以上の関心領域又は関心特徴をタイプ又はクラスとして分類することを更に含むことができる。１つの実施の形態において、前記タイプ又は前記クラスは、内膜、中膜、外膜、管腔、ＥＥＬ、ＩＥＬ、プラーク、カルシウム、カルシウムプラークを含む群から選択される。１つの実施の形態において、本明細書に開示されるシステム及び方法とともに使用される前記画像データは、カーペットビュー画像、スキャンライン、ピクセル、２Ｄ画像、３Ｄ画像、血管造影画像、血管内画像、ＣＴスキャン画像、Ｘ線画像、及び他の動脈、静脈、器官又は循環系の他の構成部分の画像を含む。上記特徴や領域やチャネルやクラス等は、これらに関してトレーニングされたニューラルネットワークを使用して検出することができる。

１つの実施の形態において、前記特徴、前記領域、前記タイプ及び／又は前記クラスは、１つ以上のサイドブランチ、管腔、ガイドワイヤ、ステントストラット、ステント、ジェイルドステント、生体吸収性スキャフォールド（ＢＶＳ：bioresorbable vascular scaffold）、薬剤溶出性ステント（ＤＥＳ：drug eluting stents）、ブルーミングアーティファクト、圧力ワイヤ、ガイドワイヤ、脂質、アテローム性プラーク、狭窄、カルシウム、石灰化プラーク、組織を含むカルシウム、病変、脂肪、マルアポーズステントと、十分に膨らんでいないステントと、過剰に膨らんだステントと、放射線不透過マーカ、動脈樹の分岐角度と、プローブの較正素子、ドープ膜と、光散乱粒子、シースと、ドープシースと、基準位置合わせ点、直径尺度、カルシウムの円弧尺度、関心領域又は関心特徴の厚さ、径方向尺度、ガイドカテーテル、陰影領域、ガイドワイヤセグメント、長さと、厚さ及び本明細書に開示されるそれ以外のものとを含む。

１つの実施の形態において、各データ要素、各画像、及び各出力は、前記機械学習システムと電子通信する機械可読メモリに記憶される。１つの実施の形態において、前記注釈付き極画像のセットは、１つ以上の撮像アーティファクト又は不要な撮像状況を含む画像を含む。１つの実施の形態において、前記１つ以上の撮像アーティファクト又は前記不要な撮像状況は、動脈の血管内撮像前の動脈の不完全なクリアリング、不十分なコントラスト、不十分な対照液（contrast solution）、血管内撮像の平均レベル未満の光強度、コントラストクラウド（contrast cloud）、不均一な回転歪（ＮＵＲＤ）、ブルーミングアーティファクト、ジェイルド・サイドブランチ、及び撮像プローブ構成要素からの反射を含む群から選択される。１つの実施の形態において、本明細書に開示される方法及びシステムは、前記予測出力画像において、１つ以上の円弧ベースのメトリックと、Ｃａ及びＥＥＬの双方の類似性の尺度と、検出されたＥＥＬ直径と、検出されたＣａ深さとを特定することを実行するように動作可能であるか又は実行する。１つの実施の形態において、前記ニューラルネットワークは畳み込みニューラルネットワークであり、第１のノード又は層の入力チャネルの数は４つである。１つの実施の形態において、本明細書に開示される方法及びシステムは、ライン投影を使用してカーペットビューを生成することと、カーペットビューをフィルタリングして予測出力画像内のノイズを削減することとを実行するように動作可能であるか又は実行する。

１つの実施の形態において、上記（及び入力画像データにおける特定可能な要素に関する本明細書に開示される他の例）のそれぞれは、ＭＬＳをトレーニングするために関心領域（ＲＯＩ：region of interest）又は関心特徴（ＦＯＩ：feature of interest）として使用することができるとともに、トレーニングされたＭＬＳによって検出可能であり得るデータチャネルである。１つの実施の形態において、上記のそれぞれは、関連したマスク若しくはデータチャネルを有するか、又は、グラウンドトゥルースマスク若しくは出力マスク等の画像マスクにおける１つの要素である。１つの実施の形態において、出力マスクは複数の領域を含み、マルチチャネルセグメンテーション表現が前記入力データに関して生成されるように、異なる領域は異なるチャネルに対応する。１つの実施の形態において、画像データの第１のフレームは、前記ＭＬＳの前記ニューラルネットワークを用いて処理され、該画像データの第１のフレームに対応する第１の出力マスクを生成し、前記第１のマスクは、関心領域／特徴が色分け、ハッチング等のインディシアを用いて特定されるように変更される。したがって、前記第１の出力マスクは、オーバレイ、画像データ若しくはそのクラス／タイプを特定するマスク領域に対する変更、又は特定の特徴、クラス等のピクセルとして分類されるピクセルの領域に関する他のインディシアを有する前記入力画像データを含む。

１つの実施の形態において、前記予測出力画像は、予測又は分類された特徴の境界を示す１つ以上のインディシアを含む。前記方法は、予測出力画像を極形式（polar form）からデカルト形式（Cartesian form）に変換することを更に含む。したがって、検出されたＲＯＩ／ＦＯＩに対応するインディシアを有する出力極画像マスクは、デカルト画像（Cartesian image：デカルト座標画像）に変換することができ、前記インディシアは変換され、デカルト画像に表される。様々な実施の形態において、デカルト画像に対する注釈付け及び処理は、グラウンドトゥルース画像／マスク及びニューラルネットワークのトレーニングを生成するために回避され、代わりに、グラウンドトゥルース極画像が、所与のニューラルネットワークをトレーニングするために処理及び使用される。１つの実施の形態において、カーペットビューマスク、及びそれらのサブセットを使用することができる。１つの実施の形態において、カーペットビューは、フレーム番号に対応する第１の軸と、スキャンライン番号に対応する第２の軸とを有する。

１つの実施の形態において、前記ニューラルネットワークはコンフォーマル（conformal）ニューラルネットワークである。１つの実施の形態において、前記ＭＬＳはＡＩプロセッサを含み、前記ＡＩプロセッサは１つ以上の並列処理要素を含む。１つの実施の形態において、前記ＡＩプロセッサは、ｎ個の並列処理要素を含み、専用ＡＩプロセッサメモリを更に含む。１つの実施の形態において、前記専用ＡＩプロセッサメモリは、約８ＧＢ～約６４ＧＢの範囲である。１つの実施の形態において、前記専用ＡＩプロセッサメモリは、約６４ＧＢ～約１２８ＧＢの範囲である。１つの実施の形態において、前記ＡＩプロセッサはグラフィック処理ユニットである。１つの実施の形態において、前記並列処理要素は、ＣＵＤＡ（Compute Unified Device Architecture）コアプロセッサ、コアプロセッサ、テンソル（tensor）コアプロセッサ、及びストリームプロセッサを含む群から選択される。１つの実施の形態において、前記ＡＩプロセッサは、エッジネットワークアプライアンス又はサーバを通じてローカルに動作される。１つの実施の形態において、前記データ収集／撮像システムの前記ハウジング内に配置された前記コンピューティングデバイスの一部として３２ＧＢ以上のオンボードＲＡＭとともに８ＧＢ以上の専用メモリを含むグラフィカル処理ユニット等のＡＩプロセッサが使用される。

１つの実施の形態において、前記方法は、ユーザ画像データを分類するときのＭＬＳの処理時間を、ニューラルネットワークに入力する前に該画像データを平坦化することによって削減することを更に含む。これは、トレーニングフェーズの間に、関心特徴／領域を分類、検出、及び／又は特定するときの患者画像データに対して適用することができる。前記方法は、ユーザ画像データを分類するときのＭＬＳの処理時間を、ニューラルネットワークに入力する前に画像の領域をサイズ変更又は除外することによって削減することを更に含む。前記方法は、前記極画像のうちの１つ以上に対して循環シフトを１回、２回、又は３回実行することを更に含む。前記方法は、前記極画像のうちの１つ以上に対して左右フリップを実行することを更に含む。前記方法は、画像処理方法又は機械学習方法を使用して管腔検出を行い、検出された管腔境界データのセットを生成することを更に含む。前記方法は、患者画像において特定された各関心領域又は各関心特徴について１つ以上の画像マスクを生成することを更に含む。記載される技法の実施態様は、ハードウェア、方法又はプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。前記方法及び前記システムは、様々なバス及びインタフェース構成要素を含むことができる。

１つの包括的な態様は、管腔検出を行って管腔境界を検出することを含む。１つの実施の形態において、画像単位等で検出された管腔境界データも、患者の極画像データとともに前記ニューラルネットワークに入力される。この態様の他の実施の形態は、それぞれが前記方法のアクションを実行するように構成される対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含む。

実施態様は、次の特徴のうちの１つ以上を含むことができる。１つの実施の形態において、前記検出された管腔境界データを入力することは、患者の極画像データにおける関心領域及び関心特徴を分類する待ち時間を削減する。記載される技法の実施態様は、ハードウェア、方法若しくはプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。１つの実施の形態において、患者データをトレーニング又は処理するための各入力画像は、複数のバージョンに変換され、該複数のバージョンは、左右フリップ及び円形シフトによって生成される。これは、拡張データセットを提供し、そして、この拡張データセットは、誤差を低減し、ニューラルネットワーク／ＭＬＳの精度を高める。様々な実施の形態において、ＭＬＳというときは、ニューラルネットワークも含み、その逆も同様である。

１つの包括的な態様は、データ収集及び／又は撮像並びに領域／特徴の特徴付けシステムを含む。前記システムはハウジングも含む。前記システムは、極データ、超音波データ、光画像データ、Ｘ線画像データ及び血管内画像データ等の画像データのうちの１つ以上を受信するフレームグラバも含む。前記血管内システムは電源装置も含む。前記血管内システムは、前記電源装置と電気通信する１つ以上の電子メモリ記憶デバイスも含む。前記血管内システムは、プロセッサ上で実行可能であるとともに前記１つ以上の電子メモリ記憶デバイスに記憶される１つ以上の画像処理ソフトウェアモジュールも含む。前記血管内システムは、第１のプロセッサを含むコンピューティングデバイスも含み、該コンピューティングデバイスは、前記電源装置及び前記第１のプロセッサと電子通信する。１つの実施の形態において、１つ以上のＡＩプロセッサ及び専用ＡＩプロセッサメモリが、前記ハウジングに配置されるか、又は、１つ以上のポート、バス、又はネットワークを通じてハウジングに接続される。１つの実施の形態において、前記ＭＬＳ及びそのトレーニングされたニューラルネットワークは、クライアント／サーバ実施態様、エッジコンピューティング実施態様、又はサービス実施態様としてのクラウド若しくはソフトウェア等を通じてリモートで動作される。

１つの実施の形態において、前記システムは、前記１つ以上の電子メモリ記憶デバイスに記憶される１つ以上のソフトウェアプログラムも含む。前記システムは、１つ以上の機械学習ソフトウェアモジュールを含むニューラルネットワークを備える機械学習システムも含む。また、前記血管内システムは、１つ以上のＡＩプロセッサであって、前記１つ以上の機械学習ソフトウェアモジュールは、該１つ以上のＡＩプロセッサ上で実行可能である、１つ以上のＡＩプロセッサと、バスと、ＡＩプロセッサメモリと、画像データを前記第１のプロセッサとの間で送信及び受信するインタフェースとを含み、前記機械学習システムは前記電源装置と電子通信し、前記機械学習システム、前記コンピューティングデバイス、及び前記１つ以上の電子メモリ記憶デバイスは、前記ハウジング内に配置される。１つの実施の形態において、前記バスはＰＣＩｅバスである。この態様の他の実施の形態は、それぞれが前記方法のアクションを実行するように構成される対応するコンピュータシステム、装置、１つ以上のコンピュータ記憶デバイス上に記録されたコンピュータプログラム、ＡＩプロセッサ、専用ＡＳＩＣ、回路機構及び回路機構構成要素を含む。１つの実施の形態において、前記バスは、前記ＡＩプロセッサ及びオンボードメモリ並びに診断／撮像システムのプロセッサを接続する。

実施態様は、次の特徴のうちの１つ以上を含むことができる。前記ハウジングは、光コヒーレンス断層撮影撮像システム又は血管内超音波撮像システムのハウジングである。前記１つ以上の画像処理ソフトウェアモジュールは、極血管内画像（polar intravascular image）をデカルト画像に変換するソフトウェアと、デカルト血管内画像を極画像に変換するソフトウェアと、エンドユーザに表示されるときに関心領域又は関心特徴にラベル付けする組織分類オーバレイソフトウェアと、管腔検出ソフトウェアモジュールと、画像平坦化前処理ソフトウェアモジュールと、画像サイズ変更ソフトウェアモジュールと、グラウンドトゥルースデータを用いてトレーニング画像にラベル付け又はマーキングするＧＵＩを有する画像注釈ソフトウェアと、前処理ソフトウェアモジュールと、円形シフトソフトウェアモジュールとのうちの１つ以上を含む。前記１つ以上の機械学習ソフトウェアモジュールは、ニューラルネットワークインタフェースと、管腔輪郭予測と、サイドブランチ予測と、画像サイズ変更モジュールと、ユーザインタフェース及び入力処理ソフトウェアモジュールと、ニューラルネットワークのパラメータを制御及び設定するＭＬＳインタフェースソフトウェアモジュールと、ＭＬＳメモリマネージャソフトウェアと、前処理ソフトウェアモジュールと、ステントストラット予測ソフトウェアモジュールと、ジェイルドステント予測ソフトウェアモジュールと、ガイドワイヤ予測ソフトウェアモジュールと、撮像システムとデータを交換するインタフェースモジュールとのうちの１つ以上を含む。記載される技法の実施態様は、ハードウェア、方法若しくはプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。

部分的に、本開示は、機械学習（ＭＬ：machine learning）方法及びシステムを使用して患者からの画像データをリアルタイム又は実質的にリアルタイムで評価するのに適したコンピュータベースの方法、及びシステムに関する。様々な実施の形態において、血管内データのプルバック等の画像データのセットが、畳み込みニューラルネットワーク等のトレーニングされたニューラルネットワークを使用して実質的にリアルタイムで分類される。様々な実施の形態において、前記画像データのセットは、約４００個のフレーム～約６００個のフレームを含み、メモリから取得されるか、又は、撮像システムを使用して患者を撮像することによって取得される。１つの実施の形態において、約４００個のフレーム～約６００個のフレームを含む画像データのセットが分類される。１つの実施の形態において、実質的にリアルタイムは、約１秒～約６０秒の範囲である。１つの実施の形態において、実質的にリアルタイムは、約１秒～約３０秒の範囲である。１つの実施の形態において、実質的にリアルタイムは、約１秒～約２０秒の範囲である。１つの実施の形態において、実質的にリアルタイムは、約１秒～約１５秒の範囲である。１つの実施の形態において、実質的にリアルタイムは、約１秒～約１０秒の範囲である。１つの実施の形態において、実質的にリアルタイムは約１０秒未満である。部分的に、本開示は、デカルト表現及び極表現を有する血管内画像に関連した特定の問題に適用される機械学習技法を使用して心臓専門医及び撮像専門家等のエンドユーザの診断ツールを改良することを対象とする。さらに、回転プローブを使用してＯＣＴ、ＩＶＵＳの画像データ、及び他の撮像データを取得することを考えると、それらに関連した２つの座標系を取り扱うことが課題をもたらす。本開示は、これらの課題と、カテラボにおいて単一のセッションの間にステント留置及び他の手技を適用することができるように患者を迅速に撮像して診断するという問題を解くことに関係した非常に多くの他の課題とに対処する。複数の関心特徴又は関心領域への画像のセグメンテーションを行うことができることは、ステント計画、バイパス、アテレクトミ（atherectomy）、及び他の外科オプションの評価を通知し、時間に伴う患者の状態の変化を評価する診断情報を臨床医に提供することによって、患者が初期診断手順及びその後の処置手順の間に費やす時間を削減する。

１つの実施の形態において、ＭＬＳシステムトレーニングが、エキスパートによって注釈付けされた極画像又は極画像データ要素を使用して実行される。注釈付き極画像は、ＭＬＳをトレーニングするのに使用される。ＭＬＳは、患者からの新たな極画像を処理して、引き続き極形式にある分類された画像領域の出力を生成する。トレーニングされたＭＬＳを予測及び推論に使用した後、ＭＬＳからの極形式の予測出力は、デカルト形式に変換され、分類された組織領域（管腔、内膜、サイドブランチ、ガイドワイヤ、ステント、プラーク、カルシウム等）を有する画像は、デカルト形式で表示される。１つの実施の形態において、座標は逆にすることができ、画像は、注釈付けされるときはデカルト形式にあり、そして、所与のＭＬＳによる処理及び予測後に最終的に極形式に変換される。

様々な実施の形態において、様々なワークフローのユーザインタフェースフィードバックを提供する確率マップ及び組織マップが生成される。加えて、確率マップ及び組織マップを組み合わせ、比較し、畳み込み、及び別の方法で使用して、トレーニングされたニューラルネットワークを使用して関心領域及び関心特徴を分類する出力結果を生成することができる。様々な実施の形態において、所与のニューラルネットワークは、好ましくは、注釈付き極画像を使用してトレーニングされる。

部分的に、本開示は、冠動脈等の身体管腔の特徴付けられた組織に基づく１つ以上の組織マップ表現を使用して、改善された情報管理及び時間管理を容易にするユーザインタフェース設計に関する。様々な実施の形態において、様々な検出されたＲＯＩ／ＦＯＩを血管造影データと共位置合わせし、撮像システム又は他の診断システムの一部としての１つ以上のユーザインタフェースを使用して表示することができる。

部分的に、本開示は、撮像処理パイプラインを使用して、組織タイプ及びサイドブランチ等の他の特徴、ステント、ガイドワイヤ及び他の特徴、血管の特性及び物質を含むことができる血管内の関心領域を検出するとともに、ニューラルネットワークを使用して、カルシウム、管腔、中膜、内膜、脂質及び本明細書に開示されるそれ以外のもの等の他のＲＯＩ／ＦＯＩを検出する上記血管内の関心領域を特定する方法に関する。

１つの実施の形態において、１つ以上のマスク、画像、又は出力におけるセグメンテーション及び／又は検出並びに表現のために選択される組織タイプ又は組織特性、関心領域（ＲＯＩ）、関心特徴、クラス若しくはタイプ又は血管特徴は、次のもの、すなわち、コレステロール、繊維質、脂質プール、脂質、線維脂肪、石灰化、カルシウム結節、カルシウムプレート、内膜、血栓、泡沫細胞、プロテオグリカン、及び本明細書に開示されるそれ以外のもののうちの１つ以上を含む組織マップを含む。本明細書に開示される様々なシステムは、専用回路、コントローラ、ＦＰＧＡ、ＡＩプロセッサと、本明細書に開示されるような他の構成要素とを使用して、本明細書に開示される方法及びプロセスの全てを実行するように動作可能である。

本開示は、種々の態様及び実施の形態に関するが、本明細書に開示されるこれらの種々の態様及び実施の形態は、統合することもできるし、組み合わせることもできるし、組み合わせシステムとして又は必要に応じて部分的に別々の構成要素、デバイス、及びシステムとしてともに使用することもできることが理解される。したがって、本明細書に開示される各実施の形態は、所与の実施態様について、必要に応じて様々な度合いで上記態様のそれぞれに組み込むことができる。

図は必ずしも一定比例尺に従わず、代わりに、概して、例示的な原理に重点が置かれている。図は、あらゆる面で例示的であると考えられ、本開示を限定することを意図されず、その範囲は特許請求の範囲によってのみ規定される。

本特許ファイル又は本出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有するこの特許又は特許出願公開の写しは、請求され、必要な料金が支払われると米国特許商標庁によって提供されるであろう。

本開示の例示の実施形態による、画像フレーム等の動脈画像データに関して取得されたグラウンドトゥルースマスクを使用し、特定の関心特徴又は領域を分類する予測出力を生成するネットワーク等を使用してニューラルネットワークをトレーニングするのに適したシステムの概略図である。本開示の例示の実施形態による、トレーニングフェーズの間に、動脈に関して取得された画像データ等の画像データとの使用に適した機械学習システムの概略図である。本開示の例示の実施形態による、動脈に関して取得された画像データ等のユーザ画像データとともに使用されて、ユーザ画像データにおける関心特徴を検出、予測、及び／又は分類するのに適した機械学習システムの概略図である。本開示の例示の実施形態による、ＭＬＳをトレーニングするのに使用されるグラウンドトゥルース画像データを生成するために処理されるＯＣＴ画像データ等の入力極画像データを示すユーザ画像データ、及び、トレーニングされたＭＬＳを使用して取得された予測画像データとの使用に適した機械学習システムの概略図である。本開示の例示の実施形態による、分類又は特徴付けされたユーザ画像データに関する関心特徴又は領域を生成するユーザ画像データとの使用に適した機械学習システムの概略図である。本開示の例示の実施形態による、管腔検出システム及び前処理システムを含むユーザ画像データに関して分類又は特徴付けされた関心特徴又は領域を生成するユーザ画像データとの使用に適した機械学習システムの概略図である。本開示の所与の例示の実施形態のトレーニングプロセス及びその後の予測プロセスの例示的なプロセスフローである。本開示の例示の実施形態を所与とした、患者の撮像から得られた画像データと、中膜、カルシウム、及び管腔を別々のチャネルとして検出することに対応する３つの出力確率マップとを示す図である。本開示の例示の実施形態による、グラウンドトゥルース注釈を使用したトレーニング及び予測結果の生成に適した多層ニューラルネットワークアーキテクチャを示す図である。本開示の例示の実施形態による、様々な色分けされたクラスに対応するインディシアを含むＭＬＳからの出力のセットと、これらを使用して投影を取得し、カーペットビュー及び任意選択的に組織マップを生成することとを示す概略図である。本開示の例示の実施形態による、試験データ及びトレーニングデータの損失関数値を示すＭＬＳシステムのプロットである。本開示の例示の実施形態による、試験データ及びトレーニングデータの不整合パーセンテージ値を示すＭＬＳシステムのプロットである。本開示の例示の実施形態による、患者動脈の血管内極画像と、分類されたグラウンドトゥルース領域を用いて注釈付け又は拡張された極画像と、ＭＬＳを使用して分類された関心特徴及び／又は関心領域を有する極画像とを示す図である。左から右に、本開示の例示の実施形態による、動脈の極画像データと、グラウンドトゥルース管腔データを用いて注釈付けされた極画像と、２Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果と、３Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果とを示す図である。左から右に、本開示の例示の実施形態による、動脈の極画像データと、グラウンドトゥルース管腔データを用いて注釈付けされた極画像と、２Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果と、３Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果とを示す図である。左から右に、本開示の例示の実施形態による、動脈の極画像データと、グラウンドトゥルース管腔データを用いて注釈付けされた極画像と、２Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果と、３Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果とを示す図である。左から右に、本開示の例示の実施形態による、動脈の極画像データと、グラウンドトゥルース管腔データを用いて注釈付けされた極画像と、２Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果と、３Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果とを示す図である。本開示の例示の実施形態による、ＭＬＳ又はその構成要素をトレーニングするための、画像データのナビゲーションと、画像データへの注釈付けに適したＭＬＳシステムのグラフィカルユーザインタフェースを示す図である。本開示の例示の実施形態による、ＭＬＳのグラフィックユーザインタフェースベースのトレーニングツールを使用して注釈付けされた、動脈を通る撮像プローブのプルバックからの画像データの極フレームを示す図である。本開示の例示の実施形態による、組織領域がＭＬＳの予測演算によって分類されるセグメンテーションされた動脈画像のデカルト形式の概略図である。本開示の例示の実施形態による、入力画像と、ＭＬＳ分類された中膜領域又はマスク、管腔領域又はマスク、及びＣａ領域又はマスクを示す画像のセマンティックセグメンテーションとを示すデカルト形式に変換されたＭＬＳからの出力画像を示す図である。本開示の例示の実施形態による、入力画像と、ＭＬＳ分類された中膜領域又はマスク、管腔領域又はマスク、及びＣａ領域又はマスクを示す画像のセマンティックセグメンテーションとを示すデカルト形式に変換されたＭＬＳからの出力画像を示す図である。撮像システムと統合されるか若しくは統合することができる、又は、撮像システムと別の方法で組み合わされるか若しくは組み合わせることができる１つ以上の機械学習システムを含む例示的な撮像診断システムを示す図である。撮像システムと統合されるか若しくは統合することができる、又は、撮像システムと別の方法で組み合わされるか若しくは組み合わせることができる１つ以上の機械学習システムを含む例示的な撮像診断システムを示す図である。撮像システムと統合されるか若しくは統合することができる、又は、撮像システムと別の方法で組み合わされるか若しくは組み合わせることができる１つ以上の機械学習システムを含む例示的な撮像診断システムを示す図である。本開示の例示の実施形態による、ＯＣＴ撮像システム等の光学撮像システムを使用してガイドされたアテレクトミを行うのに適したシステムの概略図である。本開示の例示の実施形態による、ＯＣＴ撮像システム等の光学撮像システムを使用してガイドされたアテレクトミを行うのに適した方法の概略図である。本開示の例示の実施形態による、ディープラーニングベースのシステム等のＭＬＳシステムを使用してカルシウムプラーク領域を強調するようにセグメンテーションされたＯＣＴ画像を示す図である。本開示の例示の実施形態による、ディープラーニングベースのシステム等のＭＬＳシステムを使用してカルシウムプラーク領域を強調するようにセグメンテーションされたＯＣＴ画像を示す図である。本開示の例示の実施形態による、３Ｄ、横断面及び縦断面におけるカルシウムプラークのユーザインタフェース表示を示す図である。本開示の例示の実施形態による、血管造影共位置合わせ（angiography co-registration）を使用して血管造影システム上で作成されたカルシウムマップを示す図である。本開示の例示の実施形態による注釈付きデカルトＯＣＴ画像を示す図である。本開示の例示の実施形態による注釈付きデカルトＯＣＴ画像を示す図である。本開示の例示の実施形態による、動脈の様々な層を特定する拡張されたデカルトＯＣＴ画像を示す図である。本開示の例示の実施形態による、所与のＭＬＳ実施形態とともに使用される画像データに注釈付けするのに適したグラウンドトゥルース又はトレーニングセットレビューの一部として特定された動脈の様々な層を有する図５Ｃの動脈の組織構造画像を示す図である。本開示の例示の実施形態による、デカルトＯＣＴ画像、並びに管腔、中膜、及びＣａプラークを特定するＭＬＳの予測出力と、例示的な直径測定値とをそれぞれ示す図である。本開示の例示の実施形態による、デカルトＯＣＴ画像、並びに管腔、中膜、及びＣａプラークを特定するＭＬＳの予測出力と、例示的な直径測定値とをそれぞれ示す図である。本開示の例示の実施形態による、追加のＯＣＴ画像と、グラウンドトゥルースマスクと、ＭＬＳを使用した組織分類及び予測を示す出力マスクとを示す図である。本開示の例示の実施形態による、追加のＯＣＴ画像と、グラウンドトゥルースマスクと、ＭＬＳを使用した組織分類及び予測を示す出力マスクとを示す図である。本開示の例示の実施形態による、追加のＯＣＴ画像と、グラウンドトゥルースマスクと、ＭＬＳを使用した組織分類及び予測を示す出力マスクとを示す図である。本開示の例示の実施形態による、追加のＯＣＴ画像と、グラウンドトゥルースマスクと、ＭＬＳを使用した組織分類及び予測を示す出力マスクとを示す図である。本開示の例示の実施形態による、組み合わせ撮像ＭＬＳベースのシステムを使用して取得されるようなデカルト形式の元の例示的なＯＣＴ画像を示す図である。本開示の例示の実施形態による、グレースケール極画像を示す図である。本開示の例示の実施形態による、グラウンドトゥルースマスクを示す図である。本開示の例示の実施形態による、トレーニングされたＭＬＳを使用した注釈、トレーニング及び予測のための入力として図７Ｂの画像を用いて生成されるＭＬＳ実施形態のディープラーニング出力を示す図である。本開示の例示の実施形態による、エキスパートデータ又はグラウンドトゥルースデータを用いて注釈付けする前の極ＯＣＴ画像に対する前処理演算を示す図である。本開示の例示の実施形態による、管腔、中膜、及びカルシウムを検出する様々な例示的な極画像マスクを示す図である。本開示の例示の実施形態による、管腔、中膜、及びカルシウムを検出する様々な例示的な極画像マスクを示す図である。本開示の例示の実施形態による、管腔、中膜、及びカルシウムを検出する様々な例示的な極画像マスクを示す図である。本開示の例示の実施形態による、前処理ステップの一部として元のＯＣＴ極画像に適用される循環シフト及び左右フリップを示す極ＯＣＴ画像を示す図である。本開示の例示の実施形態による、前処理ステップの一部として元のＯＣＴ極画像に適用される循環シフト及び左右フリップを示す極ＯＣＴ画像を示す図である。本開示の例示の実施形態による、前処理ステップの一部として元のＯＣＴ極画像に適用される循環シフト及び左右フリップを示す極ＯＣＴ画像を示す図である。本開示の例示の実施形態による、グラウンドトゥルース注釈付き画像及び予測出力を示す画像を示す図である。本開示の例示の実施形態による、グラウンドトゥルース注釈付き画像及び予測出力を示す画像を示す図である。本開示の例示の実施形態による、ＭＬＳ処理速度を高めて患者待ち時間を低減するように開発された様々な前処理ステップを示す画像を示す図である。本開示の例示の実施形態による、ＭＬＳ処理速度を高めて患者待ち時間を低減するように開発された様々な前処理ステップを示す画像を示す図である。本開示の例示の実施形態による、ＭＬＳ処理速度を高めて患者待ち時間を低減するように開発された様々な前処理ステップを示す画像を示す図である。本開示の例示の実施形態による、ＭＬＳ処理速度を高めて患者待ち時間を低減するように開発された様々な前処理ステップを示す画像を示す図である。本開示の例示の実施形態による、生の画像データが送られ、グラウンドトゥルースデータを用いた注釈とともに処理される例示的な処理ステップのフローチャートである。本開示の例示の実施形態による、生の画像データが送られ、グラウンドトゥルースデータを用いた注釈とともに処理される例示的な処理ステップのフローチャートである。本開示の例示の実施形態による、ＭＬＳシステム及び方法を使用して組織分類を組み込んだ仮想ステント留置を通じてステント計画をサポートする診断ツールの例示的なユーザインタフェースを示す図である。本開示の例示の実施形態による、ＭＬＳシステム及び方法を使用して組織分類を組み込んだ仮想ステント留置を通じてステント計画をサポートする診断ツールの例示的なユーザインタフェースを示す図である。本開示の例示の実施形態による、被検者の動脈のＯＣＴスキャンからの境界の様々な切断面を含む動脈の表現と、プルバックの間に取得された画像データの様々なセットを使用した組織マップの生成とを示す図である。本開示の例示の実施形態による、１つ以上の撮像モダリティを使用して取得された動脈と、組織マップの生成に適した様々な切断面との概略表現を示す図である。本開示の例示の実施形態による、ステント留置及びアテレクトミ等の診断及び処置プランをサポートするために、様々な組織マップを表示するユーザインタフェース内に統合される様々なインディシアを有する、動脈のＯＣＴ撮像プルバックを使用して生成される様々な組織マップ表現を示す図である。本開示の例示の実施形態による、ステント留置及びアテレクトミ等の診断及び処置プランをサポートするために、様々な組織マップを表示するユーザインタフェース内に統合される様々なインディシアを有する、動脈のＯＣＴ撮像プルバックを使用して生成される様々な組織マップ表現を示す図である。本開示の例示の実施形態による、ステント留置及びアテレクトミ等の診断及び処置プランをサポートするために、様々な組織マップを表示するユーザインタフェース内に統合される様々なインディシアを有する、動脈のＯＣＴ撮像プルバックを使用して生成される様々な組織マップ表現を示す図である。

様々なデータ収集解析システムが、冠動脈系に関する情報を取得するのに利用可能である。デバイスを使用して血管から取得されたデータ、又は、血管に関連した血管内測定若しくは血管外測定から導出されたデータは、研究者及び臨床医を支援するために解析又は表示することができる。光コヒーレンス断層撮影法（ＯＣＴ）は、干渉計を使用して、血管又は血管内に配置された物体に関する距離測定値を取得する撮像モダリティである。血管内超音波法（ＩＶＵＳ）も、血管の部分を撮像するプローブに使用することができる。血管造影システム及び蛍光透視システムも、診断決定を行うことができるとともにステント留置等の様々な可能な処置オプションを行うことができるように、患者を撮像するのに多く使用される。これらの撮像システム及び他の撮像システムは、患者を外部又は内部から撮像して生のデータを取得するのに使用することができ、これらのデータは、様々なタイプの画像データを含むことができる。本開示は、医療撮像データの構成部分の改良された分類を提供するニューラルネットワーク等の１つ以上のネットワークを含む様々な機械学習システムの実施形態に関する。例示的なＭＬＳベースのシステムが、図１、図１Ａ、図１Ｂ、図１Ｃ、図１Ｄ、図１Ｅ、図４Ａ、図４Ｂ、及び本明細書に開示及び図示される他の図に関して示されている。

特に、冠動脈等の身体の管腔に関して取得される画像データが特に対象となる。さらに、診断、流量測定、ステント計画等のための血管内撮像の利益を考慮すると、ＭＬＳシステムを使用した適時の画像解析並びに組織適合試験及び分類を取得することは大きな価値がある。これらのシステムは、多くの場合に、画像処理タスクを実行するのに多大な量の時間を必要とする。したがって、ＭＬＳシステムを使用して患者画像データのセットを処理する所要時間を削減することが、本開示の様々な実施形態の１つの特徴である。

一般に、本開示は、血管内データ収集デバイスが使用される血管に関する画像データ等の診断情報を含む信号を生成及び受信するのに使用することができる任意の血管内データ収集デバイスに適用することができる。これらのデバイスは、光プローブ又は超音波プローブ等の撮像デバイス、圧力センサデバイス、及び血管又は心臓血管系の他の構成部分に関するデータを収集するのに適した他のデバイスを含むことができるが、これらに限定されるものではない。

図１は、グラウンドトゥルースマスクに注釈付けしてこれを生成し、トレーニングされたニューラルネットワークを使用して分類するための画像データを収集すること、及び、そのような予測結果をユーザに表示すること等の本開示の様々なステップを実行するのに適したシステムを含む。動脈情報の視覚表現を視認及び評価する様々なユーザインタフェース特徴が本明細書において説明される。これらのユーザインタフェースは、ユーザがマウス、ジョイスティック、又は他の制御装置を用いて制御することができるとともに１つ以上のプロセッサ及びメモリ記憶素子を使用して動作させることができる１つ以上の可動要素を含むことができる。

ステントデリバリ計画手順の間に、ユーザは、ＯＣＴ及び注釈付き血管造影を参照して、デリバリ計画の一部としてステントを更に拡張又は移動することができる。これらのシステムの特徴及び方法は、図１に示すシステム３を使用して実施することができる。

図１は、データを収集するか、又は被検者４の特徴を検出するか、又は被検者４の状態を検知するか、又は別の方法で被検者４を診断するのに適した種々のデータ収集サブシステムを含むシステム３を示している。１つの実施形態では、被検者は、テーブル、ベッド、若しくは椅子等の適切な支持体１９又は他の適切な支持体上に配置される。典型的に、被検者４は、特定の関心領域２５を有する人間又は別の動物である。

データ収集システム３は、核磁気共鳴、Ｘ線、コンピュータ支援断層撮影、又は他の適切な非侵襲撮像技術等の非侵襲撮像システムを含む。そのような非侵襲撮像システムの非限定的な一例として示されるように、シネ（cines）を生成するのに適するような血管造影システム２０が示されている。血管造影システム２０は蛍光透視システムを含むことができる。血管造影システム２０は、例えば、ＯＣＴ又はＩＶＵＳ等の１つ以上の撮像技術における血管造影を使用して被検者４の領域２５内の血管が撮像されるように、プローブ３０を使用してプルバック手技が実行される間に、典型的には画像データのフレームの形態で血管造影データのフレームが生成されるように、被検者４を非侵襲的に撮像するように構成される。

血管造影システム２０は、血管造影データ記憶及び画像管理システム２２と通信状態にあり、血管造影データ記憶及び画像管理システム２２は、１つの実施形態ではワークステーション又はサーバとして実装することができる。１つの実施形態において、収集された血管造影信号に関連するデータ処理は、血管造影システム２０の検出器上で直接実行される。システム２０からの画像は、血管造影データ記憶及び画像管理部２２によって記憶及び管理される。

１つの実施形態では、システムサーバ５０又はワークステーション８５はシステム２２の機能をハンドリングする。１つの実施形態では、システム２０全体は、Ｘ線等の電磁放射を発生させる。システム２０はまた、被検者４を通過した後のそのような放射線を受け取る。次いで、データ処理システム２２は、血管造影システム２０からの信号を使用して、領域２５を含む被検者４の１つ以上の領域を撮像する。

この特定の例に示すように、関心領域２５は、特定の血管等の血管系又は末梢血管系のサブセットである。このサブセットは、ＯＣＴを使用して撮像することができる。カテーテルベースのデータ収集プローブ３０は、被検者４内に導入され、例えば冠動脈等の特定の血管の管腔内に配置される。プローブ３０は、例えば、ＯＣＴプローブ、ＦＦＲプローブ、ＩＶＵＳプローブ、上記のうちの２つ以上の特徴を組み合わせるプローブ、及び血管内で撮像するのに適した他のプローブ等の、種々のタイプのデータ収集プローブとすることができる。プローブ３０は、典型的には、プローブ先端部、１つ以上の放射線不透過性マーカ、光ファイバ、及びトルクワイヤを含む。加えて、プローブ先端部は、光ビームディレクタ、音響ビームディレクタ、圧力検出器センサ、他の変換器又は検出器、及び上記の組み合わせ等の、１つ以上のデータ収集サブシステムを含む。

光ビームディレクタを含むプローブの場合、光ファイバ３３は、ビームディレクタを用いてプローブと光通信状態にある。トルクワイヤは、光ファイバが配設される穴を画定する。図１において、光ファイバ３３は、それを囲むトルクワイヤなしで示されている。加えて、プローブ３０はまた、カテーテルの一部を形成するポリマーシース（図示せず）等のシースを含む。ＯＣＴシステムの文脈において、干渉計のサンプルアームの一部分である、光ファイバ３３は、図示するように患者インタフェースユニット（ＰＩＵ：patient interface unit）３５に光結合する。

患者インタフェースユニット３５は、プローブ３０の端部を受け入れ、それに光結合させられるのに適したプローブコネクタを含む。典型的には、データ収集プローブ３０は使い捨て可能である。ＰＩＵ３５は、使用されるデータ収集プローブのタイプに基づいて適切なジョイント及び要素を含む。例えば、ＯＣＴ及びＩＶＵＳデータ収集プローブの組み合わせは、ＯＣＴ及びＩＶＵＳＰＩＵを必要とする。ＰＩＵ３５は、典型的に、トルクワイヤ、シース、及び内部に配設される光ファイバ３３を、プルバック手技の一部としてプルバックするのに適するモータも含む。引き戻されることに加えて、プローブ先端部はまた、典型的に、ＰＩＵ３５によって回転させられる。こうして、被検者４の血管は、長手方向に又は横断面を介して撮像することができる。プローブ３０はまた、冠血流予備量比（ＦＦＲ：fractional flow reserve）又は他の圧力測定値等の特定のパラメータを測定するために使用することができる。

次いで、ＰＩＵ３５は、１つ以上の血管内データ収集システム４０に接続される。血管内データ収集システム４０は、ＯＣＴシステム、ＩＶＵＳシステム、別の撮像システム、及び上記の組み合わせとすることができる。例えば、ＯＣＴプローブであるプローブ３０の文脈におけるシステム４０は、干渉計のサンプルアーム、干渉計の基準アーム（reference arm）、フォトダイオード、制御システム、及び患者インタフェースユニットを含むことができる。同様に、別の例として、ＩＶＵＳシステムの文脈において、血管内データ収集システム４０は、超音波信号生成及び処理回路部、ノイズフィルタ、回転可能なジョイント、モータ、及びインタフェースユニットを含むことができる。１つの実施形態では、データ収集システム４０及び血管造影システム２０は、血管造影ビデオフレームタイムスタンプ及びＯＣＴ画像フレームタイムスタンプを同期させるように構成される、共有クロック又は他のタイミング信号を有する。

図１の侵襲的及び非侵襲的画像データ収集システム及びデバイスに加えて、被検者の領域２５及び被検者の他の関心パラメータに関して、種々の他のタイプのデータを収集することができる。例えば、データ収集プローブ３０は、例えば圧力ワイヤ等の１つ以上の圧力センサを含むことができる。圧力ワイヤは、ＯＣＴ又は超音波構成要素の付加なしで使用することができる。圧力読み取り値は、被検者４の領域２５内の血管のセグメントに沿って取得することができる。

そのような読み取り値は、有線接続によって又は無線接続を介して中継することができる。冠血流予備量比ＦＦＲデータ収集システムに示すように、無線トランシーバ４８は、プローブ３０からの圧力読み取り値を受信し、それらをシステムに送信して、測定された血管に沿う１つ以上のロケーションのＦＦＲ測定値を生成するように構成される。１つ以上のディスプレイ８２、８３はまた、データの血管造影フレーム、ＯＣＴフレーム、ＯＣＴ及び血管造影データのためのユーザインタフェース、並びに関心の他の制御及び特徴を示すために使用することができる。

データ収集プローブ３０を使用して生成される血管内データのフレーム等の血管内画像データは、ＰＩＵ３５を介してプローブに結合したデータ収集処理システム４０に送ることができる。血管造影システム２０を使用して生成される非侵襲的画像データを、共同登録サーバ５０やワークステーション８５等の１つ以上のサーバ又はワークステーションに送信し、そこに記憶し、それによって処理することができる。システム２２から血管造影画像データを取り込むように構成されるコンピュータボード等のビデオフレームグラバデバイス５５を、種々の実施形態で使用することができる。

１つの実施形態において、サーバ５０は、メモリ７０に記憶され、プロセッサ８０によって実行される１つ以上の共同登録ソフトウェアモジュール６７を含む。サーバは、本開示の様々な実施形態を実施するのに適したトレーニングされたニューラルネットワーク５２を含むことができる。１つの実施形態において、グラフィカル処理ユニット５３等のＡＩプロセッサは、サーバ５０に含まれており、メモリ７０と電気通信する。コンピューティングデバイス／サーバ５０は、プロセッサベースのコンピューティングサーバのための他の典型的な構成要素を含むことができる。代替的に、データベース９０等の１つ以上のデータベースは、生成される画像データ、被検者のパラメータ、及び図１に示すシステムデバイス又は構成要素の１つ以上によって生成され、データベース９０によって受信されるか又はデータベース９０に転送される他の情報を、受信するように構成することができる。

データベース９０は、ワークステーション８５のメモリ内に記憶されている間、サーバ５０に接続されているように示されるが、これは１つの例示的な構成にすぎない。例えば、ソフトウェアモジュール６７は、ワークステーション８５のプロセッサ上で実行することができ、データベース９０は、サーバ５０のメモリ内に位置することができる。種々のソフトウェアモジュールを実行するためのデバイス又はシステムの使用は、例として提供される。種々の組み合わせにおいて、本明細書において説明されるハードウェア及びソフトウェアは、画像データのフレームを取得し、そのような画像データを処理し、そのような画像データを登録するために使用することができる。様々なソフトウェアモジュールは、１つ以上の関心領域（ＲＯＩ）及び／又は検出され若しくは特徴付けられた組織若しくはカルシウム等の動脈成分（arterial material）を示す１つ以上の組織マップを生成するのに適した組織マップ生成ソフトウェアも含むことができる。

本明細書に別段の指定がない限り、ソフトウェアモジュール６７は、前処理ソフトウェア、変換、行列、及び画像データを処理して又は患者トリガに応答して、他のソフトウェアベースの構成要素６７によって異なるタイプの画像データの共同登録を容易にするか又はそれ以外に画像データの注釈を実行してグラウンドトゥルースを生成するのに使用される他のソフトウェアベースの構成要素等のソフトウェア、並びに本開示の様々な実施形態を実施するのに適した他のソフトウェア、モジュール、及び機能を含むことができる。これらのモジュールは、スキャンラインベースの手法又は画像ベースの手法を使用する管腔検出、スキャンラインベースの手法又は画像ベースの手法を使用するステント検出、インジケータ生成、ステント計画用の並置バー生成、不一致、サイドブランチ及び欠測データによる混乱を防止するガイドワイヤ陰影インジケータ（guidewire shadow indicator）等を含むことができる。

データベース９０は、血管造影システム２０によって生成され、サーバ５０のフレームグラバ５５によって取得される画像データ等の血管造影画像データ９２を受信し記憶するように構成することができる。データベース９０は、ＯＣＴシステム４０によって生成され、サーバ５０のフレームグラバ５５によって取得される画像データ等のＯＣＴ画像データ９５を受信し記憶するように構成することができる。

加えて、被検者４は、１つ以上の電極を介して、例えばモニタ４９等の１つ以上のモニタに電気結合することができる。モニタ４９は、限定することなく、心臓機能に関連し、収縮期及び拡張期等の被検者の種々の状態を示すデータを生成するように構成される心電図モニタを含むことができる。

所与の図における方向性を示す矢印の使用又はその欠如は、情報が流れることができる方向を制限又は要求することを意図されない。例えば、図１に示す要素を接続するように示される矢印及びライン等の所与のコネクタについて、情報は、所与の実施形態のために適するように、１つ以上の方向に又は１つだけの方向に流れることができる。接続は、光接続、有線接続、電力接続、無線接続、又は電気接続等の種々の適切なデータ伝送接続を含むことができる。

１つ以上のソフトウェアモジュールは、図１に示すシステム２０等の血管造影システムから受信される血管造影データのフレームを処理するために使用することができる。限定することなく、ソフトウェア、その構成要素、又は、ソフトウェアベースの若しくはプロセッサ実行式の方法の１つ以上のステップを含むことができる種々のソフトウェアモジュールは、本開示の所与の実施形態において使用することができる。

部分的に、本開示は、血管内プローブによって収集された血管内データをプロセッサベースのシステムによって変換又は解析することができる血管内データ収集システム及び関連方法に関する。そのような解析及び変換の結果は、医用画像の構成部分を分類するニューラルネットワークを有する所与のＭＬＳと通信するディスプレイ等の様々な表現でエンドユーザに表示することができる。１つの実施形態において、ＯＣＴ、ＩＶＵＳ、Ｘ線ベースの撮像システム等の所与の撮像システムは、ＭＬＳと電子通信し、所与のタイプの撮像システムを使用して取得された画像データの変更バージョンをそのような画像データが取得された同じセッションの間に表示することができる。Ｖ－ｎｅｔ、Ｕ－ｎｅｔ、ＣＵＭｅｄＶｉｓｉｏｎ１、ＣＵＭｅｄＶｉｓｉｏｎ２、ＶＧＧＮｅｔ、多段マルチ再帰入力完全畳み込みネットワーク（Ｍ^２ＦＣＮ：Multi-stage Multi-recursive-input Fully Convolutional Network）、コースツーファインスタック型（Coarse-to-Fine Stacked）完全畳み込みネット、ディープアクティブラーニングフレームワーク、ＲｅｓＮｅｔ、それらの組み合わせ、並びに画像セグメンテーションに適した他のニューラルネットワーク及びソフトウェアベースの機械学習フレームワーク等の様々なニューラルネットワークアーキテクチャを画像セグメンテーションに使用することができる。

１つの実施形態において、ＭＬＳは、約２秒～約３０秒内等の迅速処理に基づいて結果を得ることができるように必要な機械学習動作及びそのトレーニングプロセスをハンドリングする専用化ハードウェアシステムを含む。１つの実施形態において、結果は、約４５秒未満で得られる。所与のＭＬＳ実施形態の専用化ハードウェアシステムは、ＡＩ／ＭＬプロセッサ等の複数のプロセッサを含むことができる。この機械学習システムは、画像の構成組織、組織タイプ、及び他の関心領域が検出され、タイプ又は別のパラメータに基づいて特徴付けられるように、画像をセグメンテーションするか又は画像に処理を行うように分類器をトレーニングすることによって実施することができる。１つの実施形態において、管腔、内膜、中膜及びプラークが検出され、これらの異なる組織に対応する境界を有するものとして特定される。所与のＭＬＳ／ニューラルネットワークをトレーニングすることは、既知の入力及び既知の出力を使用してネットワークに教示することを伴う。

本開示は、プロセッサごとに割り当てられたメモリ量が増加されたメモリを含む１つ以上のＡＩプロセッサを含む高度機械学習システムに関する。この高度機械学習システムは、マルチチャネルセグメンテーション手法をサポートするように設計される。所与の実施態様の異なる関心領域及び特性に関して様々なチャネルを選択することができる。例えば、１つの実施形態において、第１のチャネル、第２のチャネル、第３のチャネル及び第４のチャネルが、これらのチャネルのそれぞれが管腔、内膜、中膜及びプラークに１つずつ関連付けられるように指定される。他のクラス／タイプを異なるチャネルに関連付けてセグメンテーションを容易にすることもできる。

１つの実施形態において、プラークタイプが分類される。いくつかの実施形態において、プラークタイプは、石灰化されたものとして分類することができる。加えて、所与の動脈セクションのプラーク及び他の検出可能な特徴の存在が狭窄症等からの絞窄の存在を示す可能性があるとすると、本開示の別の特徴は、所与のプラーク又は狭窄に関連した１つ以上のスコアを素早く且つ自動的に取得して、エンドユーザが行う判定を容易にすることを助けることができることである。例えば、画像データ及びその機械学習ベースの解析を使用して求められる所与のスコアは、緊急行動が推奨されないか否か、又は狭窄に対してステントを留置すべきか否か、又は、アテレクトミ若しくはバイパス等の他の手技が正当化されるか否かを判断するのを助けることができる。

健康な患者の場合に、動脈は、内膜、中膜及び外膜を含む一貫した構造に配列された様々な層を有する。アテローム性動脈硬化のプロセスの結果として、内膜は病理学的に肥厚し、繊維質、プロテオグリカン、脂質及びカルシウム、並びにマクロファージ及び他の炎症細胞を含む異なるタイプの組織から構成されるプラークを含み得る。これらの組織タイプは、本開示の機械学習システムのうちの１つ以上についてのトレーニングデータのセットを確立するのに使用することができる様々な撮像システムを使用して撮像されると、異なる特性を有する。最も病理学的に重要であると考えられるプラークは、下層に脂質プールを伴う線維皮膜からなるいわゆる脆弱性プラークである。異なるアテローム性動脈硬化プラークは、異なる幾何形状を有する。例えば、泡沫細胞は、通常、大きな脂質プールの肩部にリボン状の特徴を形成し、中膜は、血管の周囲に環状に見える等である。形状情報は、現在のところ、ＯＣＴ画像の定性評価に使用される。１つの実施形態において、ニューラルネットは、線維皮膜及び／又は下層に脂質プールを伴う線維皮膜を特定するようにトレーニングされる。様々な実施形態において、本明細書でカルシウムというとき、これは、限定するものではないが石灰化プラーク及び他のカルシウム含有組織も含む。

患者がまだカテーテルを挿入され、ステント又は他の処置オプションを受ける準備ができている間に、患者に対して撮像手順を迅速に実行して動脈画像を取得し、そして、機械学習システムを使用して画像を処理することができることによって、大幅な時間節約及び患者予後の改善が得られる。

中膜及び外弾性板と呼ばれる中膜の外縁は、介入中にそれらのステントをサイズ決めするために医師によって使用される。中膜を見つけて、部分的に病変した組織の直径を測定することは、多くの時間を要し、困難である。これは、画像解釈トレーニングも必要とする。ＥＥＬ直径の自動検出及び測定は、診断のとき又はそれ以外で処置オプションについて患者を評価するときに直面するこれらの技術的な課題に対処する。そのような直径の測定の一例が図６Ｂに示されている。図３Ｃは、動脈のデカルト図（Cartesian view）における一連のラベル付きマスク及びＲＯＩマスクを示している。

ＲＯＩは、一般に例として示され、カルシウム、又は、サイドブランチ若しくはステントストラットを含む領域等の別の関心特徴に対応することができる。管腔Ｌ、内膜Ｉ、プラークＱ、外膜ＡＤＶ、撮像プローブＰ、中膜Ｍ等に対応する各領域又は特徴は、ＣＮＮ等のトレーニングされたＮＮを使用してＭＬＳによって生成することができる。図３Ｃの画像３６５は、診断ツールとして臨床医をガイドし、臨床医に通知を行うことを助けるのに使用することができる。様々な実施形態において、図３Ｃにおける様々な特徴の検出は、１つ以上のユーザインタフェースを使用して表示され、図５Ｆに示すように、血管造影データと共位置合わせすることができる。いくつかの実施形態において、１つ以上の特徴、領域、タイプ、クラス、予測結果は、血管造影データと共位置合わせされる。図５Ｆでは、ＯＣＴにおいて検出されたカルシウムプラークが、レビュー及び計画のために血管造影画像に対してマッピング／共位置合わせされる。いくつかの実施形態において、組織マップ及び他の画像データ表現が、診断及び治療法の推奨をサポートするのに使用される。１つの実施形態において、ＡＤＶ、ＥＥＬ、ＩＥＬ、Ｌ、Ｐ、Ｉ、Ｑ等の特定された各特徴又は各クラスは、本明細書に開示されるトレーニングされたニューラルネットワークのうちの１つ以上を使用して、マスク又は予測マスクとして生成することができる。出力結果に対応するインディシアは、色分けされたインディシア及び他のインディシアを使用して示すことができる。

１つの実施形態において、ピクセルのセット又はグループに対応する注釈付きマスク領域が、本明細書に開示される１つ以上のニューラルネットワークをトレーニングするのに使用されるグラウンドトゥルースマスクを画定する。ニューラルネットワークがトレーニングされると、ユーザデータの領域に対応するピクセルのセットと、管腔、カルシウム、ＥＥＬ、又は本明細書に開示される別のクラス若しくは特徴であるのか等の領域の特徴又はクラスの識別子とを含む予測マスク又は検出マスクが生成される。１つの実施形態において、予測結果がクラスごとに生成され、次に、ＯＣＴ、ＩＶＵＳ、又は他の画像データの入力フレーム等の所与の画像データ入力の予測結果の全てが、ピクセルごとに比較され、全てのクラスの最終予測結果が生成される。１つの実施形態において、予測結果は、色等のインディシアによってそのように示される特定のクラスに対応する領域を有する出力画像マスク、及び、どのインディシアがどのクラスにマッピングしているのかを要約した１つ以上の凡例として表示される。

プラークの検出及びプラークタイプの分類は、医師が自身の介入ストラテジを選ぶことの助けとなる。医師は、カルシウム負担が過度に高い場合にはアテレクトミを行うことを選ぶこともできるし、下層のプラーク組成に応じて異なるゾーンにステントをランディングさせることを選ぶこともできる。プラークの特定及び特徴付けのプロセスを自動化することによって、医師の画像解釈が容易になり、医師のワークフローが改善される。

本明細書に開示されるＭＬＳは、様々なニューラルネットワークを用いて実施することができ、様々な撮像診断システムと統合することができる。１つの実施形態において、システム及び方法は、ディープラーニングフレームワークを使用して実施される。様々な実施形態において、ＭＬＳは、ニューラルネットワーク、ルールエンジン、ファジィ論理システム、比較器、平坦化モジュール、シフトモジュール、例えばヒューリスティックシステム等のサイズ変更モジュール等の画像処理モジュール、パターンマッチングシステム及びパターン認識システム、これらのソフトウェア実施態様のうちの１つ以上を含む。

１つの実施形態において、ＭＬＳは、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）等のニューラルネットワーク（ＮＮ：neural network）を使用する。ＣＮＮは、複数のノード又はニューロンを含み、画像データ、画像データから導出されたデータ、及び／又は画像データに対する変更、及び／又は画像データ構成部分若しくはセグメントに関する分類情報を受信及び出力することができる。１つの実施形態において、ＣＮＮは、セマンティック画像セグメンテーションを実行する。１つの実施形態において、所与のＭＬＳ実施形態を使用したセマンティックセグメンテーションは、画像がカルシウム及びＥＥＬを有するか否かを検出し、カルシウム及びＥＥＬを有するピクセルを特定するのに使用することができる。これは、医師が、処置オプションの選択及び特定の処置のガイドに関する様々な問題を解決することを助ける。１つの実施形態において、ＭＬＳは、ＰｙＴｏｒｃｈ３ＤＣＮＮ又はＶ－ＮＥＴ等の３ＤＣＮＮを使用する。本明細書に記載されるニューラルネットワークは、ＰｙＴｏｒｃｈ、Ｍｉｃｒｏｓｏｆｔ認知ツールキット（ＣＮＴＫ：Cognitive Toolkit）、ＴｅｎｓｏｒＲＴ、ＴｅｎｓｏｒＦｌｏｗ、並びに他の同様の独自の及びオープンソースのＭＬフレームワーク及びツールを含む様々なフレームワークを使用して実施することができる。

１つの実施形態において、データ注釈用に選択されるツールは、ユーザがピクセルを選択し、移動し、及び／又は境界を描くことを可能にする。そのような例示的なユーザインタフェースツール３０５は、図３Ａ及び図３Ｂに示されている。ＧＵＩの使用は、フレームごとの注釈の一貫性をサポートする（特に３Ｄの場合）。ＧＵＩベースの注釈ツール等の標準化されたツールが使用される場合には、ツールの制約及び注釈付けするための行動のセットは、一貫したトレーニングデータをサポートする。これは、種々のユーザが画像に手で注釈付けし、そして、走査又は処理された画像を有することと対照的である。１つの実施形態において、ＧＵＩの有用な特徴は、データを以前のフレームから以後のフレームにコピーすることができることである。さらに、１つの実施形態において、点が極において注釈付けされ、前処理の間のデカルトから極への変換が省かれる。

１つの実施形態において、ＭＬＳへの入力は、約４５０個のエキスパート注釈付き画像からなるトレーニングセットを含み、各画像ピクセルの組織タイプに、１人以上のエキスパートユーザによって注釈が付けられる。１つの実施形態において、このトレーニングセットは、画像データをトレーニングセットとして使用する前に管腔検出を実行するために、別のＭＬＳのトレーニングセットによって前処理することができる。したがって、１つの実施形態において、第１のトレーニングデータのセットが、１つ以上の前処理技法を使用して前処理される。これらの前処理技法は、注釈付き管腔領域又はセグメントを有するトレーニングセットを使用して事前にトレーニングされたＭＬＳを使用する管腔検出を含むことができる。前処理技法は、ネットワークのトレーニング及び／又は後方伝播（backward propagation）の間のトレーニングされたネットワークの予測速度を高速化するように選択することもできる。したがって、前処理技法は、画像データ平坦化、円形シフト（circle shift）プロセス、循環シフト（circular shift）プロセス、ノイズフロア未満の深さデータ等の画像データの部分の除外、画像の１つおきのスキャンラインが除去されるか又は１つおきの列が除去されるように１つおきに行うことができるデータ除去、ノイズを除去し、領域の均一性を高めることができるピクセルのフィルタリング、及び他の前処理ステップも含むことができる。

１つの実施形態において、トレーニングセットは、個々の画像、又は画像のグループ、クラスタ、若しくはサブセット、スキャンライン又はピクセル等の約４００個～約６００個の画像データ要素（「画像データ要素」）を含む。１つの実施形態において、トレーニングセットは、約５００個～約７００個の画像又は画像データ要素を含む。１つの実施形態において、トレーニングセットは、約７００個～約８００個の画像又は画像データ要素を含む。１つの実施形態において、トレーニングセットは、約８００個～約９００個の画像又は画像データ要素を含む。１つの実施形態において、トレーニングセットは、約９００個～約１０００個の画像又は画像データ要素を含む。１つの実施形態において、トレーニングセットは、約１０００個～約１１００個の画像又は画像データ要素を含む。１つの実施形態において、トレーニングセットは、約１０００個～約５０００個の画像又は画像データ要素を含む。

１つの実施形態において、特定のＭＬＳとともに使用される所与のＣＮＮは、複数のノード又はニューロンを含む。そのようなネットワークは、隠れ層を含む様々な層を含むことができる。ネットワークの要素は、ネットワークがトレーニングされて、ＯＣＴ、ＩＶＵＳ、血管造影、ＣＴスキャン、又は他の画像データ等の入力画像データについて学習するにつれて経時的に変化する重み値、フィルタ値、又はバイアス値を有することができる。１つの実施形態において、所与のＭＬＳ実施態様に使用されるネットワークは、極画像データ入力及び／又はデカルト画像データ入力を含むトレーニングセットに応答して経時的に変化する複数のフィルタを含む。

１つの実施形態において、１つ以上のグラフィカルユーザインタフェース構成要素を含むことができるＣＮＮインタフェースが、画像データのバッチ入力を容易にするのに使用される。所与の画像が画像データの一例である。画像データは、血管内プルバックと、セグメンテーション及び分類に適した医療撮像データの他のソースとからのスキャンラインも含むことができる。１つの実施形態において、グラウンドトゥルースである画像データを構成する各画像は、異なる部分、クラス又はタイプに分類され、そのようなデータを使用して、新たな患者画像データに対して動作しているときにそのような部分、クラス又はタイプを検出するようにネットワークをトレーニングすることをサポートする。１つの実施形態において、グラウンドトゥルース及びトレーニングセットは、ＭＬＳが動作している間、様々な実施形態において、人間の介入なしに自動的に関心領域又は関心特徴を予測又は検出するために、トレーニングされたＭＬＳの分類及び生成の対象となる関心領域又は関心特徴に関して生成されるマスクである。トレーニングセット／グラウンドトゥルースを生成するのに人間又は機械学習を使用することができる。これらのそれぞれは、マスク及びデータチャネルとして実施することができる。各データチャネルは、様々な実施形態において色分けされる。

図１Ａに示すように、医用画像データの所与のセットの組織及び他のデータタイプを分類するのに適したＭＬＳのトレーニングフェーズを実施するシステム５の概略図が示されている。画像内の組織の様々な特徴、領域、タイプ、及び／又はクラス並びに領域、ピクセル、輪郭及び境界を画像データに対してタグ付け又は特定して、グラウンドトゥルースマスク等の注釈付き画像データを取得することができる。さらに、上記事項は、ネットワークが画像データに対して処理を行い、トレーニングされたネットワークを使用して組織の特徴、領域、タイプ、及び／又はクラス並びに領域、ピクセル、輪郭及び境界を分類及び視覚化するのに適したインディシアを有する画像データの出力を生成することができるように、ニューラルネットワークをトレーニングするのに使用することができる。所与のグラウンドトゥルースマッチは、特定のチャネル若しくは特徴に対応する１つの領域、又は、特定のチャネル若しくは特徴に対応する領域のグループを含むことができる。所与の領域は、所与のグラウンドトゥルースマスク内のピクセルのセットを含む。１つの実施形態において、グラウンドトゥルースマスクには、カルシウム、プラーク、ＥＥＬ境界等の特定のタイプ又はクラス、並びに本明細書に開示される様々な他のクラス、タイプ、及び分類に対応する領域又は特徴を含むように注釈付けすることができる。

１つの実施形態において、画像データ、注釈付き画像データ、及び／又はグラウンドトゥルースマスクに対する１つ以上の変換を実行することによって画像データセットの濃度を増加させることによるデータ拡張が行われる。これらの変換は、循環シフト、左フリップ（left flip）、右フリップ（right flip）、平坦化、サイズ変更、クロッピング、フィルタリング、２値化、及び正規化のうちの１つ以上を含むことができる。画像データがＯＣＴデータ、ＩＶＵＳデータ、又は１つ以上の回転要素を使用して取得された他のデータであるとき、データ拡張は、行われている撮像と一致しない変換を回避することを条件として行われる。

１つの実施形態において、ＭＬＳは、１つ以上の入力を含み、画像データを受信して、画像データに対して処理を行うＭＬＳに基づいて出力を生成するＣＮＮを含む。１つの実施形態において、ＭＬＳ及び／又はＣＮＮはディープラーニング分類器を含む。１つの実施形態において、例えば、ＯＣＴ画像、ＩＶＵＳ画像、又は血管造影画像等の約４００個～約２０００個の画像データ要素がエキスパートによって注釈付けされるか、又は、第１のＭＬＳが画像データとしてＭＬＳに提供される。この画像データは、画像データ要素と、管腔検出等の画像前処理用に１人以上のエキスパート及び／又は第１のＭＬＳから取得されたそのようなデータ要素に対するグラウンドトゥルース注釈とを含む。１つの実施形態において、各画像データ要素のピクセル（又はそのサブセット）は、第１のＭＬＳのエキスパートによって注釈付けされる。

したがって、画像データ要素とこの画像データ要素へのグラウンドトゥルース注釈とを含む画像データは、ＭＬＳに入力として提供されるトレーニングセットを構成する。１つの実施形態において、このトレーニングセットは、ＣＮＮ及び／又はディープラーニング分類器を含むＭＬＳに入力される。図１Ａに示すように、画像データ／画像データ要素及びグラウンドトゥルース注釈は、ＭＬＳに入力される。ＭＬＳからの出力は、グラウンドトゥルース注釈及び／又はグラウンドトゥルース注釈と組み合わさった画像データ要素と比較され、誤差値が生成される。１つの実施形態において、誤差値はコスト関数の出力である。１つの実施形態において、誤差値はトレーニング誤差値である。様々なメトリック、スコア、及び試験を使用して、許容可能閾値への経時的なトレーニング誤差の変化及び収束を評価することができる。様々な実施形態において、ダイス（Dice）、ジャッカード（Jaccard）、コサイン類似度、及びオーバラップ距離、メトリック、スコア、又は係数をコスト関数の出力、入力、又は構成要素とすることができる。コスト関数に関する更に詳細な内容が本明細書において説明される。図１Ａのシステム及び本明細書に開示される他のシステムは、トレーニング及び／又は処理時間を更に改善する様々な前処理ステップを含むことができる。

図１Ｆは、管腔、カルシウム、中膜、及び内膜等の様々な関心領域／特徴との使用に適したトレーニングプロセス及びその後の予測プロセスを含む本開示の例示的な方法８０である。１つの実施形態において、トレーニングされるニューラルネットワークは、カルシウム、内膜、管腔、及び中膜を含むグラウンドトゥルース注釈を使用してトレーニングされる。１つの実施形態において、トレーニングされるニューラルネットワークは、カルシウム、内膜、管腔、及び中膜からなるグラウンドトゥルース注釈、又は、これらのうちの１つ以上を特に対象とするグラウンドトゥルース注釈を使用してトレーニングされる。方法は、血管内データ等の極画像データを含むことができる画像データを取得することを含む（ステップ１００）。最初に、グラウンドトゥルースマスク等のグラウンドトゥルースデータのセットが、画像データのセットをレビューし、これに注釈付けすることによって確立される。１つの実施形態において、方法は、各注釈付き領域又は特徴がグラウンドトゥルース注釈となるように、画像のセットの各極画像における１つ以上の関心領域又は関心特徴に注釈付けすることを含む（ステップ１０２）。グラウンドトゥルース注釈に対応するピクセルは、図１のデータベース等の永続電子メモリに記憶することができる。本明細書において説明されるデータ及び注釈の全ては、所与の撮像システムのニューラルネットワーク及び画像処理ソフトウェアモジュールによって許容可能なデータベース又は他のデータ構造体に記憶することができる。

１つの実施形態において、グラウンドトゥルース注釈は、図３Ａ等に関して本明細書により詳細に図示及び論述されるユーザインタフェースを用いて行うことができる。１つの実施形態において、注釈は、グラウンドトゥルースマスクとして記憶され、領域又は特徴を構成する境界又はピクセルとともにユーザによって特定される関心領域又は関心特徴のセットを含むことができる。１つの実施形態において、マスクは、極画像等の元の画像と組み合わされるピクセルのオーバレイを含む。１つの実施形態において、マスクは、特定のグラウンドトゥルース注釈又は予測結果に対応するピクセルのアドレス／リストを含む。

注釈付き極画像のセットを使用して機械学習システムのニューラルネットワークをトレーニングすることが実行される（ステップ１０４）。このトレーニングは、グラウンドトゥルースマスクと、これらのグラウンドトゥルースマスクを取得するために注釈付けされる画像データとを使用して実行することができる。グラウンドトゥルースマスクは、循環フリップ（circular flip）、右フリップ、左フリップ、及び回転撮像モダリティに適用可能な他の拡張変換を使用して拡張することができる。部分的に、本開示は、１つのグラウンドトゥルースマスクがグラウンドトゥルースマスクの数を増加させるように変更されている、拡張極画像に関する。１つの実施形態において、グラウンドトゥルースマスクが管腔境界又は管腔特徴若しくは管腔領域を含むような管腔検出が初期検出ステップとして実行される。１つの実施形態において、トレーニングが、コスト関数又は誤差の他の尺度等の１つ以上のメトリックが許容可能レベルに低減されるまで実行される。誤差が低減されるにつれて、ＭＬＳの検出／予測精度は向上する。

ＭＬＳがトレーニングされると、ニューラルネットワークへの画像データの入力が行われ、様々な関心特徴／領域の予測、検出、分類等を用いて画像データのセットが生成される（ステップ１０５）。Ｋ個のクラス／タイプのそれぞれについてＫ個の確率マスクが生成される（ステップ１０６）。３つの異なるクラスの場合のＫが３であるときの確率マップ出力／確率マスクの例が図１Ｇに示されている。具体的には、図１Ｇは、患者の撮像から得られた画像データと、異なるクラスの３つの出力確率マップ／確率マスクとを示している。出力マスク／マップは、本開示の例示の実施形態を所与として別々のチャネルとしての中膜Ｍ、カルシウムＣａ、及び管腔Ｌの検出に対応する。図示するように、それぞれのチャネルごとに、検出されたクラスは赤色で示されている。したがって、図１Ｇにおいて、中膜Ｍは中膜チャネルにおいて赤色であり、２つの検出されたカルシウム領域Ｃａは、カルシウムチャネルにおいて赤色であり、管腔Ｌは管腔チャネルにおいて赤色として示されている。他のインディシアを使用して、関心領域／特徴に対応する様々な検出／予測クラスを色分け又は表現することができる。１つの実施形態において、関心特徴の各クラス又はタイプは、ネットワークがトレーニングされた画像の各部分の分類に関する予測を有するマスク、マップ、及び最終出力を追跡するための関連したチャネルを割り当てられる。

カルシウム、中膜、管腔、及び内膜が、ニューラルネットワークが特徴／領域を分類するようにトレーニングされるクラス／タイプである場合に、Ｋは４である。１つの実施形態において、ニューラルネットワークの出力は、クラス／タイプごとに１つの確率マップが存在するように、Ｋ個の確率マップを含む。方法は、入力画像データの各フレームの最終予測出力を生成することを含むことができる（ステップ１０７）。１つの実施形態において、異なるＫ個のクラス／タイプのそれぞれのＫ個の確率マップのそれぞれが、所与の画像フレームの各ピクセルが評価されるようにピクセルごとに比較されて評価され、そして、最終予測結果が各ピクセルに割り当てられる。このように、画像データの各フレームが処理され、最終予測出力が生成される。１つの実施形態において、最終予測結果は、タイプ／クラスに対応する１つ以上のインディシアを含む予測出力マスクである。１つの実施形態において、方法は、ニューラルネットワーク／機械学習システムからの最終予測出力画像をクラス／タイプインディシアとともに表示することを含む（ステップ１０８）。

１つの実施形態において、様々なインディシアが、トレーニングされたＭＬＳを使用して特定された異なる関心領域及び関心特徴の間のセグメンテーションを色分け又は別の方法で視覚化して示すのに使用される。１つの実施形態において、ニューラルネットワーク／機械学習システムを使用して特定／予測された関心特徴／領域を含むように変更された出力画像データが表示される。上記ステップは、本明細書に開示されるコンピュータベースのシステム及びＡＩプロセッサベースのシステムのうちの１つ以上を使用して実行することができる。

様々なニューラルネットワークアーキテクチャを本明細書に開示される実施形態とともに使用することができる。例えば、Ｖ－ｎｅｔ、Ｕ－ｎｅｔ、ＣＵＭｅｄＶｉｓｉｏｎ１、ＣＵＭｅｄＶｉｓｉｏｎ２、ＶＧＧＮｅｔ、多段マルチ再帰入力完全畳み込みネットワーク（Ｍ²ＦＣＮ）、コースツーファインスタック型完全畳み込みネット、ディープアクティブラーニングフレームワーク、ＲｅｓＮｅｔ、それらの組み合わせ、並びに他のニューラルネットワーク及びソフトウェアベースの機械学習フレームワークは、本明細書に開示されるような関心特徴／領域画像セグメンテーション及び分類を実行するのに適したものとすることができる。図２は、注釈付きグラウンドトゥルースマスクを使用してトレーニングし、予測出力を評価するのに適した確率マップを生成し、分類された関心領域／特徴を有する分類された画像データを示すのに適した畳み込みニューラルネットワークのアーキテクチャの一例である。図２の多層ニューラルネットワークアーキテクチャ１１５は、グラウンドトゥルース注釈を使用してトレーニングし、予測結果を生成するのに適している。図２のニューラルネットワークアーキテクチャは、様々なタイプ／クラス（カルシウム、管腔、中膜、内膜、及び本明細書に開示されるそれ以外のものの非常に多くのグループ）のグラウンドトゥルースマスクを用いてトレーニングすることができる。ネットワーク１１５は、本明細書に開示されるネットワークアーキテクチャ若しくはその変更バージョン又はそれらの組み合わせの任意のものとすることができる。１つの実施形態において、ネットワーク１１５は畳み込みネットワークである。

ニューラルネットワーク１１５は、入力１１１及び出力１１７を含む。出力１１７は、Ｋ個のクラスが、関心特徴及び関心領域を分類するために指定されているときは、各画像データ入力のＫ個の確率マップである。Ｋ個の確率マップは、出力確率マップが画像データ１１１の各フレームについて比較され、どのピクセルが、Ｋ個のクラスのうちの１つであるより高い相対確率を有するのかを確認するために使用されるスコアリングシステム又は重み付けシステムを使用して評価される。評価の結果、様々なＫ個のクラス並びに関連した特徴及び領域を、クラスを区別するインディシア及び凡例とともに示す最終予測出力が生成される。

様々なノードは、画像データのチャネルに適用することができる演算及び変換「ＯＰ」の関連したセットを有する、ネットワーク１１５に示されるＮ１～Ｎ９である。ネットワーク１１５の様々な実施態様において、チャネルの数Ｔは、通常、１６個以上である。ネットワーク１１５の処理速度を効率化するために、出願人らは、Ｔを４に設定して、Ｔ＝４が、分類すること及び動脈画像データを評価するようにネットワークをトレーニングすることに適していることを発見した。したがって、様々な実施形態において、Ｔ個のチャネルが４つのチャネルに対応し、２Ｔ個のチャネル、４Ｔ個のチャネル、８Ｔ個のチャネル、及び１６Ｔ個のチャネルは、８個のチャネル、１６個のチャネル、３２個のチャネル及び６４個のチャネルに対応する。これらの様々なチャネルは、入力データのインスタンスがネットワークの様々なノードの様々な機能ＯＰに関してどのように処理されるべきかを指定するためにネットワークの各層／隠れ層において設定される。１つの実施形態において、ネットワーク１１５は、適応学習アルゴリズム等の機能／演算子を使用してグラウンドトゥルースマスクを用いてトレーニングされる。１つの実施形態において、勾配降下ベースの方法が、注釈付きグラウンドトゥルースマスクとともにネットワーク１１５をトレーニングするのに使用される。

ネットワーク１１５の様々なノードは、ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４、ＯＰ５、ＯＰ６、ＯＰ７、ＯＰ８、及びＯＰ９によって示す、９個のノードＮ１～Ｎ９の演算及び変換ＯＰのセットを含む。ネットワーク要素１２８ａ、１２８ｂによって示すように、ノードＮ２、Ｎ３及びノードＮ７、Ｎ８の間に他のノード及び層を追加することができる。ノードＮ１、Ｎ２、Ｎ３、及びＮ４と、ノードＮ４からＮ５への入力矢印とを含むネットワーク１１５の左側は、１つ以上のダウンサンプリング／ダウンコンバート演算ＤＣを実行する。対照的に、ノードＮ５からＮ６への出力矢印とノードＮ６～Ｎ９とを含むネットワーク１１５の右側では、ネットワークのこの部分は、ノードの間で１つ以上のアップサンプリング／アップコンバート演算ＵＣを実行する。１つの実施形態において、このニューラルネットワークアーキテクチャは、コンテキスト情報を取り込むエンコーダと、正確なローカライゼーションを可能にする対称的なデコーダパスとを含む。

ネットワーク１１５の左部分は、畳み込みブロック及びダウンサンプリング演算が複数の異なるレベルにおいて入力画像を特徴表現に符号化するのに使用されるダウンサンプリングエンコーダ部分である。ネットワークの右部分は、アップサンプリング畳み込み演算及び連結演算を含む。ネットワークの右部分は、入力画像と同じ寸法を有する画像を出力するように動作する。１つの実施形態において、ネットワークアーキテクチャは、ダウンサンプリング演算又はアップサンプリング演算の４つのインスタンスを有し、したがって、入力画像の寸法は、寸法不整合を回避するために、１６によって除算される必要がある。本明細書では、画像データはＭ×Ｎのピクセル寸法を有する。

１つの実施形態において、Ｍ×Ｎ寸法は９１２×５１２であるが、他の指定された寸法も使用することができる。１つの実施形態において、指定されたＭ×Ｎサイズ以外の画像は、指定された寸法と整合するようにパディング又はクロッピングされる。様々な実施形態において、各ノードにおいて実行されるＯＰ演算及び関数ＯＰ１～ＯＰ９は、畳み込み、逆畳み込み、加法プロセス、連結プロセス、アップコンバートプロセス、ダウンコンバートプロセス、Ｓｏｆｔｍａｘプロセス及びＰＲｅＬｕプロセスからなる群から選択される。１つの実施形態において、Ｓｏｆｔｍａｘプロセス及びパラメトリック整流線形ユニット（ＰＲｅＬｕ：Parametric Rectified Linear Unit）プロセスが、入力画像データからのノード間で送信されるネットワークパラメータを出力確率マップに含めるために確率に変換する層として１つ以上のノードの間で実行される。１つの実施形態において、ニューラルネットワークの出力は、Ｓｏｆｔｍａｘ関数を使用して構成することができるような確率割り当て層を含む。ピクセルごとの、又は、スキャンラインごと、若しくは、タイプ若しくはラベルとも呼ばれるトレーニングされたクラスのセットに基づくマスク領域ごと等の別のグループ化に従った確率が、Ｋ個のクラスのそれぞれの複数の出力１１７として提供される。１つの実施形態において、各ノードは、層として動作することもできるし、層は、２つの水平ノードとそれらのノード間の矢印とによって定義することもできる。１つの実施形態において、ネットワークの左側から右側への矢印１３０ａ～１３０ｄによって示されるノード間の転送は、アーキテクチャの左側からアーキテクチャの右側への１つ以上のチャネルを組み合わせること又は連結することに対応する。

１つの実施形態において、図２のネットワークアーキテクチャは、カルシウム、中膜、管腔等のピクセルラベルの３つ以上のタイプ／クラス、並びに撮像された対応する関心特徴及び関心領域の他のクラス及びタイプを特徴付けるように構成される。１つの実施形態において、ネットワーク１１５は、Ｔが４となるように、示されるＴ個のチャネルの全てについて、ネットワークの処理速度が画像データの約４００個～約６００個のフレームについて実質的にリアルタイムであるように、チャネルカウントを削減する。撮像及び他の手順の間のカテラボにおける待ち合わせ滞留時間を削減する目的を所与として、４よりも大きなＴを有するネットワーク等の複雑なニューラルネットワークは、予測結果／確率を生成するときに推論時間が長くなるが、トレーニングプロセスにおいて過剰適合等の他の問題も引き起こす。様々な実施形態において、図２のネットワーク１１５においてＴを４に設定すると、その結果、推論時間が削減されるとともにネットワークの精度が改善される。１つの実施形態において、Ｔが４に等しい場合に、図２のチャネルは、示されるＴ個のチャネル、２Ｔ個のチャネル、４Ｔ個のチャネル、８Ｔ個のチャネル、及び１６Ｔ個のチャネルに対応する４個、８個、１６個、３２個、及び６４個である。

１つの実施形態において、所与のノード又は転送動作１３０ａ～１３０ｄによってリンクされた２つのノード等の各水平層は、ＯＰ１～ＯＰ９及び／又はノード間の垂直ＤＣ演算のうちの１つ以上等の畳み込み演算を実行している畳み込み層である。これらの層は、入力グラウンドトゥルースデータのいくつかの特徴を抽出又は学習している。左側における畳み込み層の場合に、ノードごとに様々なストライドを設定することができる。所与のストライドは、畳み込み演算の間の画像のダウンサイジングに対する制御を提供する。例えば、画像サイズが２５６×２５６である場合に、畳み込み後の出力サイズは１２８×１２８（２５６／ストライド）である。ネットワークの右側における逆畳み込みは、様々なＵＣ演算ごとにアップスケーリングを実行する。

図２Ａは、本開示の例示の実施形態による、様々な色分けされたクラスＣａ（赤色）、管腔（青色）、及び中膜（緑色）に対応するインディシアを含むＭＬＳからの出力のセットと、これらを使用して軸方向投影を取得し、カーペットビュー（carpet view）及び任意選択で組織マップを生成することとを示す概略図である。

様々な実施形態において、ニューラルネットワークアーキテクチャは、２Ｄネットワーク又は３Ｄネットワークとすることができ、したがって、２Ｄデータ及び３Ｄデータを処理するように動作可能である。１つの実施形態において、各フレームが２Ｄ極画像であるＦ個のフレームのプルバックの３Ｄが、カーペットビュー表現を使用して表示される。様々な実施形態において、フィルタを２Ｄカーペットビューに適用して、ノイズ、又は、３Ｄ演算子の使用と比較して処理時間を増加させるような他の不要な特徴を除去することができる。カーペットビューの使用に関する更に詳細な内容は、図２Ａに関して提供される。

中膜及びカルシウムの検出プロセス後に、極空間における各フレームは、中膜Ｍ及びカルシウムＣａの関心領域／特徴の対応するフレーム／マスクを有する。これらのフレーム／マスクは、管腔Ｌと、ＲＯＩ／ＦＯＩ検出のためにニューラルネットワークをトレーニングするのに使用された他のクラスとを含むことができる。４つの出力画像マスク／フレーム１９０のセットが一例として示されている。様々な実施形態において、フレームのこのセットは、約４００個～約６００個のフレームを含む。管腔に青色、カルシウムに赤色、及び中膜に緑色を有する色コードインディシアが使用され、図２Ａにおいてフレーム及び画像に示されている。出力画像マスクは、ＯＣＴデータ又はＩＶＵＳデータが使用されるときに、プルバック全体を覆うことができる。１つの実施形態において、この例では管腔も含む中膜及びカルシウムのマスクのフレームの全てが、ＯＲ演算としてｘ軸又はｙ軸等の軸に沿って投影され、マスクのラインが得られる。投影演算から得られたラインは、４つのライン１９３として示されている。中膜の緑色及びカルシウムの赤色を有する投影されたラインにおけるピクセルの色分けを見て取ることができる。１つの実施形態において、全てのラインは、左から右への近位フレームから遠位フレームの順番に基づいて１つの２値中膜マスク及び２値カルシウムマスクに組み合わされる。

ライン投影１９３のこの組み合わせは、カーペットビュー１９５として示される。任意選択で、いくつかの実施形態において、カーペットビュー又はライン投影１９３は、図示するような組織マップ１９８を作成するのに使用される。組織マップの最も外側のリングは近位方向に対応する一方、最も内側のリングは遠位方向を示す。１つの実施形態において、組織マップ１９８は、カーペットビューに対して極変換を実行することによって作成される。カーペットビューは、基本的にプルバックからの全てのフレームを含む３Ｄデータを含む。１つの実施形態において、２値形態再構成（morphological reconstruct）フィルタが中膜及びカルシウムカーペットビュー画像１９８に適用され、ノイズ及び小さな構造が一掃される。１つの実施形態において、ニューラルネットワークからの予測出力フレーム／マスクに基づくカーペットビューに対するそのようなカーペットビューフィルタリングステップは、有利には、カーペットビュー画像における小さな検出エリアを除去する一方、大きな検出エリアは不変のまま残る。

１つの実施形態において、処理されたカーペットビュー画像は、畳み込みプロセス、加法プロセス、又は比較プロセス等を通じて中膜マスク及びカルシウムマスクに適用され、３Ｄ極空間においてノイズを除去することができる。２Ｄカーペットビューに対する演算を２Ｄフィルタに限定することによって、３Ｄ演算子を使用する３Ｄデータ空間に対する演算に関する処理時間が改善される。図２Ａに示す様々なプロセス及び演算は、画像処理パイプライン及びニューラルネットワークベースの特徴／領域検出及び分類等のコンピュータベースのシステム及びソフトウェアモジュールを使用して実施することができる。１つの実施形態において、トレーニングされたニューラルネットワークを使用してカルシウム、中膜、管腔、及び内膜等のＲＯＩ／ＦＯＩを検出する方法は、ＯＣＴプルバックの間に取得された画像フレームのセットの処理レートを高めるために、トレーニングされたニューラルネットワークを使用する代わりに画像処理パイプラインを使用してサイドブランチ検出、ガイドワイヤ検出、及びステント検出のうちの１つ以上を実行することを含む。

１つの実施形態において、カーペットビューは、血管内プルバックの画像フレームの３Ｄ表現である。プローブを使用したプルバック手順の間に取得された血管内画像データは、縦断面に沿って断面図又は極図（polar view）を展開することによるスキャンラインの表現を作成することによってユーザに表示することができる。カーペットビューは２次元データ表現である。１つの実施形態において、カーペットビューは、断面ＯＣＴ画像であるが、カーピットの巻き付けられた円筒を広げたものと同様に広げられたもの又は展開されたものを示す。

カーペットビューは、極画像データのグループ又はその下層の構成部分を１つ以上の方法で表示するのに使用することができる。例えば、１つの実施形態において、カーペットビューは、３Ｄ血管内データセットの径方向オフセット寸法を単一の強度に縮約する。このように、データは、（Ｚ，θ）座標に表すことができる。１つの実施形態において、ライン投影を使用してカーペットビューを生成することができる。１つの実施形態において、その径方向オフセット寸法を縮約する方法は、近オフセット（near offset）推定値と遠オフセット（far offset）推定値との間の強度値を合計することである。この強度値を合計することによって、カーペットビュー／ＯＣＴ画像における幾つかの特定の領域に関して検出可能なコントラストの増加が生成される。これらは、解像度を改善するとともに、図５Ｅ、及び図１３Ａ、図１３Ｂに示すようなグラフィカルユーザインタフェースの１つ以上のパネルを使用して表示される出力予測マスクからノイズを除去するのに使用することができる。

１つの実施形態において、カーペットビュー又はＯＣＴデータは、カーペットビューマスクを生成するのに使用することができる。血管内データのカーペットビューマスクは、図５Ｅ、及び図１３Ａ、図１３Ｂに示すようなユーザインタフェースを介して表示される最終予測出力からのノイズ及びアーティファクトのフィルタリングを容易にするために生成することができる。カーペットビュー画像に対して実行される２値化のプロセスは有利である。１つの実施形態において、カーペットビューマスクは、不要なピクセルフラグメント又は他のノイズが除去されるその後の血管内画像処理ステージの入力として使用される。

１つの実施形態において、カーペットビューは、スキャンラインに沿ったオフセットの寸法が除去又は削減されるプルバックのスキャンラインから生成される２次元データセットである。カーペットビューにおいて、陰影部の強度値は低く、組織の強度値は高い。カーペットビューは、通常はグレースケール画像であるが、いくつかの実施形態において、カラーバージョンを表示することができる。

１つの実施形態において、トレーニング及び実験が、グラフィカル処理ユニット等の３つ以上のＡＩプロセッサを使用して行われた。１つの実施形態において、トレーニングコードは、ＰｙＴｏｒｃｈフレームワークを使用してＰｙｔｈｏｎで実施された。ＯＣＴ画像及びマスクをトレーニング用のニューラルネットワーク内に入力する前に、全ての画像が（０．０～１．０）の範囲に正規化された。全ての画像及びマスクは、順序がランダム化され、さらに、２つの部分に分割された。第１の部分は、トレーニングモデルにおいて使用された全データセットの９０％である。トレーニングセッションの間、画像及びマスクは、各エポックのトレーニングサンプルを拡張するために縦に（－２５６，＋２５６）の間でランダムにシフトされた。第２の部分は、トレーニングされたモデルの性能を各エポック後に評価するのに使用された。１つの実施形態において、クロスエントロピー損失が、ピクセルごとに動作可能なＳｏｆｔｍａｘ関数を使用してモデル出力にわたって計算された。トレーニング結果及び試験結果は、図２Ｂ及び図２Ｃに示されている。損失関数は、図２Ｂに示すように、予測及びグラウンドトゥルースから計算された実際のクロスエントロピー損失を指す。不整合パーセンテージは、グラウンドトゥルースと比較した各画像における誤分類ピクセルのパーセンテージである。図２Ｂ及び図２Ｃはともに、トレーニングプロセスが３００エポック後に良好に収束したことを示しており、過剰適合問題はなかった。

本明細書で言及するように、管腔検出は、グラウンドトゥルースデータ画像データと、関心特徴／領域を検出／分類する必要があるユーザ画像データとに対して行われる。いくつかの実施形態において、管腔検出は、開始及び停止のペア等の不連続点についてスキャンラインを解析することによって行われる。他の実施形態において、管腔検出は、特定された管腔境界を有するグラウンドトゥルースマスク等の注釈付き画像を用いてトレーニングされた２Ｄニューラルネットワーク又は３Ｄニューラルネットワークを使用して実施される。図２Ｅは、特定された管腔Ｌ及び組織Ｔを有する動脈２３０の極画像データを示している。図２Ｆは、グラウンドトゥルース管腔データを用いて注釈付けされた極画像データ２３３を示し、２つの異なる関心領域／チャネルに対応する管腔Ｌ及び組織Ｔを有するマスクである。図２Ｇは、２Ｄニューラルネットを有するＭＬＳを用いて行われた管腔検出による結果である出力画像データ２３５を示している。図２Ｈは、３Ｄニューラルネットを有するＭＬＳを用いて行われた管腔検出による結果である出力画像データ２４０を示している。

図３Ａ及び図３Ｂは、画像データのフレームをナビゲートするとともに画像データに注釈付けしてグラウンドトゥルースを生成するのに適したシステムのユーザインタフェースを示している。図３Ｂには、領域３５７がこの領域の中心から離れたピクセルを有する境界点３６０ａ、３６０ｂ、３６０ｃの移動等を通じて点別にグラウンドトゥルースとして画定された極画像３５０が示されている。１つの実施形態において、様々な描画編集ツールを使用して、生の画像データに注釈付けすることができる。これらの注釈付き画像は、注釈付け領域のクラス又は特徴が、図３Ａのインタフェース３０５を使用して規定されメモリに記憶された状態で、グラウンドトゥルースマスクを生成するのに使用することができる。図３Ａでは、血管内撮像プルバックの２７１個のフレームが注釈に利用可能である。フレーム１４６が、ＭＬＳをトレーニングするためのグラウンドトゥルースデータを提供するように注釈用に選択されている。図３Ｂにおける注釈用のユーザ選択領域は、図３Ａにおいて選択されたクラス識別子によって示されるように中膜に対応する。このように、任意の特徴／クラスをラベル付けのために選択することができ、この特徴／クラスは注釈とともにメモリに記憶される。注釈は、限定ではなく管腔、中膜、カルシウム等の特定のクラス又は特徴と照合されるマスクを画定するピクセル境界／領域を含み、本明細書に開示される任意のクラス、特徴、又は領域を含むことができる。

一例として、図２Ｃは、或る期間（０エポックから６００を越えるエポック）にわたるトレーニング誤差の変化を評価するのに適したプロットを示している。図２Ｃにおいて、ｘ軸はトレーニングエポック数を示し、ｙ軸は誤差の尺度であるダイス係数を示している。青色及びオレンジ色の曲線は、トレーニングデータ及び試験データに関するネットワークの性能を示す。

１つの実施形態において、グラウンドトゥルースデータ等のトレーニングデータは、生のグレースケール画像等の様々な画像フォーマットを含むことができる画像データ要素とともに、ＭＬＳのＣＮＮに入力として提供される。ＭＬＳは、トレーニング誤差が低減されるか、最小化されるか、又はそれ外に閾値未満になるまで、エポックの期間にわたって実行される。１つの実施形態において、この期間は、約１００エポック～約１０００エポックの範囲である。

１つの実施形態において、生の画像及びグラウンドトゥルース注釈を含むトレーニングデータは、全て極座標にある。グラウンドトゥルース注釈は、管腔検出を行う既存のソフトウェアアルゴリズムによって拡張することができる。このソフトウェアからの管腔検出出力は、中膜、プラーク及びプラークタイプのエキスパートユーザ注釈と組み合わされて、グラウンドトゥルース画像が生成される。１つの実施形態において、ＭＬＳへの入力はグラウンドトゥルース画像であり、出力は分類された画像である。分類された画像がグラウンドトゥルース画像と同じであるとき、誤差は約０である。

図１Ｂは、本明細書に記載されるトレーニングプロセス又はそれ以外にＭＬＳ及びＣＮＮとの使用に適したトレーニングプロセスのうちの１つ以上を使用してＭＬＳ１５をトレーニングした後のＭＬＳ１５の使用を示している。所与のＭＬＳ／ＣＮＮは、トレーニングされた後、生の画像を処理し、分類又は特徴付けされた組織を含む画像セグメンテーションを出力することができる。１つの実施形態において、血管内撮像プローブのプルバックからの極画像が、トレーニングされたＭＬＳによって処理され、分類された画像が生成される。図１Ｂのシステムは、トレーニング時間及び／又は処理時間を更に改善する様々な前処理ステップ／動作１６を含むことができる。１つの実施形態において、前処理は正規化ステップを含む。１つの実施形態において、正規化ステップは、画像データ、グラウンドトゥルース注釈、マスク、フレーム、スキャンライン、ニューラルネットワーク出力、及び他の強度ベースのデータのうちの１つ以上又は全ての強度を、強度が約０～約１等の範囲内又は別の適用可能な範囲内に正規化されるように正規化することを含む。

冠動脈の断面の画像に対応する極形式における未分類／未特徴付けのＯＣＴ画像の一例が、図２Ｄの第１の画像に示されている。図２Ｄの第２の画像は、極画像に、中膜、Ｃａ、及び管腔のＲＯＩ／ＦＯＩを示すグラウンドトゥルースマスクを加えたものである。図２Ｄの第３の画像は、中膜は緑色、カルシウムは赤色、及び管腔は青色の色分けされたインディシアで示される推論結果又は予測結果を含む極ＯＣＴ画像である。トレーニングされたＭＬＳによって分類又は特徴付けされた光コヒーレンス断層撮影画像を使用して取得されたユーザ画像データの一例が、図３Ｄ及び図３Ｅ等に示されている。図３Ｄを図３Ｃと比較すると、双方の画像がデカルト画像であることは明らかである。１つの実施形態において、ＭＬＳトレーニング及び予測は、極画像に対して行われ、分類が行われた後、極図はデカルト図に変換され、トレーニングされたＭＬＳによって生成された注釈は、色分け又は他の適したインディシア若しくは視覚化を使用して画像上に表示される。図３Ｄに示すように、内部管腔領域は青色として示され、９時の位置にあるプラーク領域を含むカルシウムは赤色で示され、中膜領域は、管腔の上部及び底部の中間点を過ぎて延在する画像の右側の細い曲線領域として大まかに示されている。

所与のコスト関数が、患者データを処理しているときにグラウンドトゥルース入力／トレーニングセットを予想出力と比較することによって、機械学習システムの出力を評価するメトリックを提供する。トレーニングデータと出力データとの間の適合度は、コスト関数を用いて測定することができる。コスト関数の出力は、誤差メトリックに対応する値とすることができる。この出力は、機械学習システム若しくはニューラルネットワーク又はそれらの他の動作構成要素が、システムをトレーニングするのに使用される予測結果及びグラウンドトゥルースを所与として、正確な予測に関してどのように成功しているのかを要約する差又は距離等の比較メトリックである。コスト関数の出力結果が０である場合には、システムは、完全に有効に動作していることになる。したがって、システムに対する反復的変更を使用して、システムのコスト関数又は誤差関数を削減し、その予測精度を改善することができる。

加えて、ピクセル単位のコスト関数が、予測とグラウンドトゥルースとの間の距離又は別の適したメトリック若しくはスコアを測定するために指定される。１つの実施形態において、バックプロパゲーションが、コスト関数から導出されたネットワークベースの値の重みのそれぞれを更新することになっている。１つの実施形態において、コスト関数の偏導関数が、バックプロパゲーションの間に重みを更新するのに使用される。この重み更新プロセスは、実際の予測結果がグラウンドトゥルースにより近いという利点を有する。これは、ニューラルネットワークの各出力ニューロン／ノードの誤差を削減又は最小化するという利点を有する。１つの実施形態において、ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）である。

図１Ｃは、注釈付きグラウンドトゥルースマスクの拡張データセットを用いてトレーニングされたネットワーク等のトレーニングされたニューラルネットワーク３４を含む機械学習システム３０の概略図である。図示するように、図示する例におけるＯＣＴ極画像データ等の入力画像データは、トレーニングされたニューラルネットワーク３４によって処理される。入力極ＯＣＴ画像は処理され、図示するような中膜（緑色）、カルシウム（赤色）、及び管腔（青色）等の様々な動脈特徴／領域に対応する色分けされたインディシアを含む極画像形式の予測値／予測出力が生成される。ＭＬＳのニューラルネットワーク３４をトレーニングするのに使用される注釈付きグラウンドトゥルース画像マスクの形式のグラウンドトゥルース画像の例も図示されている。様々な実施形態において、ＭＬＳシステムの出力は、Ｃａ及びＥＥＬの双方の類似性の円弧ベース（arc-based）のメトリック／尺度、検出されたＥＥＬ直径、及び検出されたＣａの深さのうちの１つ以上を含む。いくつかの実施形態において、これらの値は、ＥＥＬ、中膜、カルシウム、管腔、並びに他の関心領域及び関心特徴を分類した後の画像データに対して測定される。

図１Ｃを引き続き参照すると、ＭＬＳがトレーニングされると、バックプロパゲーションが時間０からバックプロパゲーション時間ＢＰＴまで実行することができる。このように、注釈付き画像又はマスクに対応する予測値が、ＯＣＴプルバック等の患者からの生の画像をＭＬＳ内に入力し、ネットワークを通してデータを伝播させて予測出力を生成することによって生成される。１つの実施形態において、ＢＰＴ時間は、０秒よりも大きく約６０秒までの範囲である。１つの実施形態において、ＢＰＴ時間は約１８０秒未満である。１つの実施形態において、ＢＰＴ時間は約９０秒未満である。１つの実施形態において、ＢＰＴ時間は、様々な例において、本明細書に開示されるように実質的にリアルタイムである。本明細書に開示されるシステム及び方法を実施するのに様々なニューラルネットワーク３４を使用することができる。これらのネットワークは、様々な隠れ層、機能、演算子、及び複数のチャネルに対する動作可能に組み合わされた演算子を含むことができる。１つの実施形態において、チャネルは、所与のフレームからのピクセルのセット又は所与のフレームからのピクセルのサブセット等の入力画像データに対応する。

図１Ｄは、撮像システムの画像処理構成要素とともに動作して、撮像システムに送信される結果を生成するＭＬＳ５５ａを示している。１つの実施形態において、画像処理はＯＣＴ画像処理である。ＭＬＳは、ニューラルネットワークを使用してＡＩ検出を行う。これは、ＡＩＰ／ＧＰＵを用いて行うことができる。処理時間Ｔ１は、１つの実施形態において約２０秒～約４０秒の範囲である。１つの実施形態において、ＡＩＰは、１０８０ファミリ又はそれよりも上位のファミリのＧｅＦｏｒｃｅＧＰＵである。ＡＩ検出は、管腔、カルシウム、ＥＥＬ、及び本明細書に開示されるＲＯＩ／ＦＯＩのうちの任意のものを検出するように構成することができる。図１Ｅのシステム６５ａは、管腔検出を、処理時間Ｔ３を有する別個の処理ステージとして分離する。管腔ＡＩ検出は、１つ以上のＡＩＰ／ＧＰＵを使用して行うことができる。図１Ｅのシステムは、患者がカテラボにいるときの下流側処理時間を削減する様々な前処理ステップも含み、手技の準備がされている間に組織検出／予測が行われている。前処理は処理時間を有することがある。１つの実施形態において、前処理はデータ平坦化ステップを含む。

最後に、ＡＩ検出は、管腔検出及び前処理された画像データに対して行うことができる。ＡＩ検出プロセスは期間Ｔ４を要し得る。１つの実施形態において、Ｔ３は約１秒～約５秒の範囲である。１つの実施形態において、Ｔ４は約５秒～約１２秒の範囲である。１つの実施形態において、全体の処理時間Ｔ２は約８秒～約２０秒の範囲である。１つの実施形態において、Ｔ２は約５秒～約１５秒である。

１つの実施形態において、ＭＬＳ並びに実行される方法ステップ及び動作は、エンドツーエンドでトレーニングされたニューラルネットワークを利用してＯＣＴ画像を処理するセマンティック画像セグメンテーションを含むことができる。トレーニングデータは、手動でラベル付けされた関心領域を有する約９００個のＯＣＴ画像を極空間に含み、各関心領域は、所与のグラウンドトゥルースに対応する。各所与のグラウンドトゥルースは、トレーニングされたネットワークを使用して画像データ内で検出されるチャネルにマッピングすることができる。１つの実施形態において、様々な入力画像及びそれらの対応するチャネル固有マスクが、１つ以上のアルゴリズムを使用してネットワークをトレーニングするのに使用される。１つの実施形態において、確率的勾配降下最適化アルゴリズムが使用される。

部分的に、本開示は、組織及び種々の構成層並びに物質（上記の例示的な組織タイプ又は組織特性のそれぞれ）と上記のものの経時的な変化とを分類する方法に関する。ＭＬＳ及び１つ以上の関連方法によって分類された患者動脈の例示的な出力デカルト画像が、図３Ｄ及び図３Ｅの画像Ｂ及びＤに示されている。

図２Ｅ～図２Ｈは、動脈の極画像と、グラウンドトゥルース管腔データを用いて注釈付けされた極画像と、２Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果と、３Ｄニューラルネットを有するＭＬＳを用いて実行された管腔検出結果とを示している。

冠動脈の様々な層が示されている。陰影又は血管内撮像プローブＰからの反射に対応する内部領域Ｐが、血管Ｌの管腔に示されている。特に、本開示は、動脈に関する組織タイプ並びに関心領域及び／又は関心特徴を検出及び特定し、そのような組織タイプのインディシア又は他の視覚化したものを表示することに関する。組織特徴付け／分類された動脈画像に示されたＭＬＳからのこの予測又は推論は、エンドユーザが診断及び処置の意思決定を容易にすることを助ける。本明細書に開示される方法及びシステムを使用して検出することができる組織タイプのいくつかの非限定的な例は、血液が流れる内部領域、管腔、内膜、中膜、外弾性板（ＥＥＬ）（外弾性膜とも呼ばれる）、内弾性板（ＩＥＬ：internal elastic lamina）、外膜、プラーク、カルシウム又は石灰化組織等を含む。中膜は、ＩＥＬ及びＥＥＬによって仕切られる。内膜は、管腔及びＩＥＬによって仕切られる。

本開示は、１つ以上の機械学習システム又は人工知能（ＡＩ：artificial intelligence）システムを使用して、動脈若しくは他の構造物の画像を検出するか、又は、この画像を様々な構成部分の組織タイプ若しくは関心領域にセグメンテーションする様々な実施形態に関する。部分的に、機械学習システムは、血管内撮像システム、超音波システム、又は血管造影システム若しくは蛍光透視システム等のＸ線システム等の撮像システムとともに設置するか又は組み合わせることができるように設計される。１つの実施形態において、本開示は、ＭＬＳを使用して、管腔、ＥＥＬ、中膜、及びカルシウム／カルシウムプラークのうちの１つ以上を検出するために組織の特徴付けを行うことに関する。これらの動脈層及びカルシウムプラークに関する更に詳細な内容は図５Ｇ～図５Ｊに示されている。

１つの実施形態において、１つ以上の撮像システム（ＯＣＴ、ＩＶＵＳ、血管造影法、Ｘ線、蛍光透視法等）からの生の画像データとすることができる画像データ、グラウンドトゥルース注釈は全て、１つ以上の座標系にある。グラウンドトゥルース、ＲＯＩ、ＦＯＩ、及び予測結果はそれぞれ、チャネルに対応することができ、所与のトレーニング画像又は患者画像内に関連した画像マスクを有することができる。ＯＣＴデータ等の極座標形式の処理データは、様々なシステムにとって魅力的（challenging）である。

まだカテーテルが挿入されている患者から画像データを取得した直後にそのような画像データの分類されたセットを生成することに関連したリアルタイム要求があることから、ＭＬＳを使用した画像データの適時の処理は実際に必要とされている。機械学習技法及びＡＩ技法を使用することを可能にするために、様々な前処理又はＭＬＳ設計の選択肢を実施し、約１秒～約２０秒の範囲にあるデータ処理時間を容易にすることができる。

一般に、本明細書に開示されるシステム及び方法は、医師が所与の患者を処置すべきか否か、及び、処置すべきである場合にどの病変／狭窄を処置すべきかを判断するのを助ける様々な自動化診断ツールを提供する。１つの実施形態において、システムは、生理学に基づいて最も重要な病変を処置するガイダンスを提供する。加えて、プラークタイプに関する詳細、及び他のＭＬＳが検出した特徴を使用して、最大流量回復を提供する最も短いステントを選択することができる。加えて、本明細書に開示されるような組織分類及び他の測定値によって知られている動脈内の留置にステントを適応させることを可能にするインタラクティブな計画を提供する仮想ステント留置術を実施することができる。

本明細書に開示されるシステム及び方法は、臨床医が様々なステントランディングゾーンを評価することができるようなガイダンスを提供する。これは、病変ランディングゾーンの選択を助ける仮想流量予備値を有する仮想ステント留置術によってサポートすることができる。血管造影データ及びＯＣＴデータとの共位置合わせは、これを更にサポートする。ＭＬＳ検出の使用によって、正常なフレーム（健康な組織を有するフレーム）は、より十分な中膜／ＥＥＬカバレッジを有する。このように、本明細書において実施されるようなＭＬＳは、ステント計画をガイドし、患者予後の改善を助けるという問題を解決する。

さらに、本明細書に記載されるＭＬＳを使用して取得された自動化ＥＥＬ測定値は、どのステントサイズを検討すべきか、及び、どのタイプのステントを使用すべきかを知らせる。ＭＬＳを介したカルシウム検出は、ステント留置術に優先してアテレクトミを選択する等の病変前処置及び処置の選択肢に関する情報を提供する。加えて、カルシウム検出は、カルシウム検出間の決定がＢＶＳ対ＤＥＳの決定を助けるときに入力パラメータを提供する。

図４Ａ～図４Ｃは、撮像システムと統合されるか若しくは統合することができる、又は、撮像システムと別の方法で組み合わされるか若しくは組み合わせることができる１つ以上の機械学習システムを含む例示的な撮像診断システムである。例示的な撮像システムは、ＯＣＴ、ＩＶＵＳ、血管造影、蛍光透視Ｘ線ベースの撮像システム等を含むことができる。

図４Ａを参照すると、データ収集／撮像プローブ４０７、及び血管内診断システム／データ収集システムとしての使用に適したＭＬＳシステム４４２を含む撮像システム４１０が示されている。システム４４２は、シリアル又はパラレルの１つ以上のＧＰＵ等のＡＩＰと、ＡＩメモリＡＩＭとを含むことができる。このシステムは、本明細書に記載されるＡＩ／ＭＬベースの技法、システム、及び方法のうちの１つ以上を実施するのに使用することができる。システム４１０は、ステント留置オプションを提案するステント計画システムとして使用することができ、ＶＦＲ、ＩＦＲ、ＦＦＲ等の流量測定に基づくシミュレーションされたステント計画又は仮想ステント計画のグラフィカルユーザインタフェースを提供する。そのようなシステムのいくつかの例示的なグラフィカルユーザインタフェース構成要素は、図１３Ａ及び図１３Ｂに示されている。図１３Ｂは、測定されたＶＦＲ値及び予測ＶＦＲ値を有する動脈断面図を示している。加えて、マスクが、カルシウム（Ｃａ／赤色）、中膜（Ｍ／緑色）及び管腔（Ｌ／青色）を示すために、トレーニングされたニューラルネットワークを使用して生成されている。シミュレーションされたステントも、図１３Ｂに示すユーザインタフェースにおける動脈表現の縦断面図に示されている。

様々な実施形態において、血管内プローブ４０７を使用して、血管造影等のＸ線撮像システムがある状態で動脈を撮像することができる。ＣＴスキャン、ＭＲＩ、Ｘ線ベースの撮像システム、並びに他の２Ｄ撮像システム及び３Ｄ撮像システム等の他の撮像システムを使用して、画像データを生成することができ、及び／又は、画像データを１つ以上のメモリ記憶デバイスに記憶することができる。様々な実施形態におけるプローブ４０７は、例えば、ＯＣＴ、血管内超音波法（ＩＶＵＳ）等の他の撮像モダリティを含むことができる。プローブ４０７は、血管内診断システム／データ収集システム４１０と光通信する。光ファイバ４１４を介してプローブ４０７に接続するＯＣＴ光学システム又はサブシステム４３１は、レーザ等の光源と、サンプルアーム及び基準アームを有する干渉計と、様々な光路と、クロック発生器と、フォトダイオードと、他のＯＣＴシステム構成要素とを含む。

システム４１０は、ＭＬＳベースの画像検出に関する１つ以上の診断ソフトウェアツール又はモジュール４１２を更に含む。このソフトウェアは、メモリデバイス４４５等の１つ以上のメモリデバイス上に非一時的命令として記憶することができ、コンピューティングデバイス４４０又はＭＬＳ４４２等の１つ以上のコンピューティングデバイスによって実行することができる。ＭＬＳは、１つの実施形態において、１つ以上のＡＩプロセッサＡＩＰと、専用メモリＡＩＭとを含む。ステント計画ソフトウェアツールは、プレステントプロファイル及びポストステントプロファイル又は他のプロファイルを比較するユーザ、比較器又は他の比較ソフトウェアルーチンによって生成されるターゲットプロファイル等の１つ以上の血管プロファイルを含むことができる。一般に、ソフトウェア４１２は、血管内データのセットを処理し、図１Ｆ、図２、図２Ａ、図２Ｂ、図４Ｂ、図４Ｃ、図１２Ａ及び図１２Ｂに関して説明した方法ステップ及び本明細書に描写及び開示される他の方法ステップ等の本明細書に記載される様々な方法ステップを実行することができる。１つの実施形態において、ソフトウェア４１２は、ＡＩＭに記憶され、ＡＩＰによって実行可能である。

ソフトウェア４１２は、血管内データセット及び血管内プローブ又は血管造影システム等の他の検出器若しくはデータ源からの他の血管データを処理するように設計される。１つの実施形態において、血管データは、プルバック手順の間に記録することができ、電子メモリデバイスに記憶することができる。トレーニング、前処理、及びグラウンドトゥルースマスク生成、検出／予測された組織分類、ニューラルネット並びに他の特徴及びソフトウェア構成要素は、ＡＩＰ又はコンピューティングデバイス４４０上で実行することができる。ソフトウェアは、図示するように、様々なＭＬＳトレーニングモジュール、前処理モジュール、及び予測モジュールを含む。これらは、管腔輪郭予測モジュール４１２Ａ、サイドブランチ予測モジュール４１２Ｂ、サイズ変更モジュール４１２Ｃ、画像平坦化モジュール４１２Ｄ、管腔平坦化モジュール、ステントストラット予測モジュール４１２Ｅ、ユーザインタフェース及び入力処理モジュール４１２Ｆ、前処理モジュール４１２Ｇ、ＭＬＳインタフェースモジュール４１２Ｈ、ＭＬＳメモリマネージャモジュール４１２Ｉ、画像データに注釈付けしてグラウンドトゥルースマスクを生成するＧＵＩトレーニングモジュール４１２Ｊ、強度正規化モジュール４１２Ｋ等を含むことができる。

１つの実施形態において、ソフトウェアモジュールは、血管内データを処理して組織を特徴付けし、カルシウム領域、テーパ領域、脂質プール、及び他の組織特徴等の関心領域を特定するように設計される。ソフトウェア４１２は、冠血流予備比、血管抵抗比（ＶＲＲ：Vascular Resistance Ratio）、並びに他の測定及び計算された血管内データ収集パラメータを比較することもできる。そのようなパラメータがステント留置状態から非ステント状態に変化する範囲において、そのようなパラメータを使用して１つ以上のメトリックを生成することができる。

１つの実施形態において、ＯＣＴシステム４３１を使用することができる。このシステムは、プローブ４０７によって戻された光を受信するバランスフォトダイオードベースのシステム等の光受信機を含む。コンピュータ、プロセッサ、ＡＳＩＣ又はシステム４１０の一部であるか若しくはシステム４１０と電気通信若しくは光通信する別のサブシステムとして含まれる他のデバイス等のコンピューティングデバイス４４０は、プローブ４０７から電子信号を受信する。様々な実施形態におけるコンピューティングデバイス４４０は、ローカルメモリ、バス及びデータを処理するとともにステント視覚化及びステント圧着不良（stent malapposition）検出用に構成された画像データ処理等のソフトウェア４４４を利用するのに適した他の構成要素を含む。１つの実施形態において、ＰＣＩｅバス又は他の高帯域幅低レイテンシバスが、所与の撮像システム、ＭＬＳ、又はそれらの双方を含む組み合わせシステムの様々な構成要素を接続するのに使用される。

ステント配備計画ツール４１２は、ソフトウェア４４４の一部とすることもできるし、ソフトウェア４４４とデータを交換することもできる。これらのツールは、プローブ４０７が血管壁に対して配置されている管腔エリア内に仮想ステントを留置するのに使用することができる。図１３Ｂは、１つ以上の仮想ステントを配備及びユーザインタフェース上に表示することができるプルバックのセグメントの例示的な領域を示している。

図４Ａに図示するように、ディスプレイ４４６も、収集された血管内データを使用して生成される血管の横断面図及び縦断面図等の情報４４７を示すためのシステム４１０の一部とすることができる。血管内データがプローブ４０７を用いて取得され、メモリ４４５に記憶されると、この血管内データを処理して、プルバック領域の長さに沿った血管の横断面図、縦断面図、及び／又は３次元図等の情報４４７又はそのサブセットを生成し表示することができる。２次元画像マスク又は３次元画像マスクを使用して、グラウンドトゥルースデータ及び予測結果を示すか又は記憶することができる。これらの図は、後続の図に示されるとともに以下に記載されるように、ユーザインタフェースの一部として描写することができる。システム４１０から取得された距離測定値を使用して生成される血管の画像は、本明細書に記載されるツール及びソフトウェアモジュールを使用して処理されると、管腔輪郭、血管直径、血管断面積、ランディングゾーン、及びランディングゾーンによって仕切られた仮想ステントを含む血管についての情報を提供する。１つの実施形態において、ＭＬＳ４４２は、１つ以上のコンピューティングデバイスと、１つ以上のソフトウェアプログラム又はモジュールとを含む。タスク、方法、ステップ、プロセス及びこれらのそれぞれに関する本明細書に記載される他の特徴を実行するように動作可能な本明細書に開示される様々なデバイス、構成要素、システム、及びサブシステムが存在する。

ＭＬＳ４４２は、ＭＬＳトレーニングと、画像データ要素等の患者画像データの処理をするときの予測／推論とを実行する１つ以上のＡＩプロセッサ及び／又はＧＰＵ及び／又は処理コア及び／又はストリームプロセッサ並びに専用メモリを含むことができる。ＭＬＳベースのシステムの更に詳細な内容は図４Ｂに示されている。

図４Ｂに示すように、撮像及びＭＬＳを組み合わせたシステム４５０が示されている。このシステムは、ＭＬＳをトレーニングするグラウンドトゥルースデータを記憶するために点及び輪郭を用いて生の画像データに注釈付けすることをサポートすることができるディスプレイ４２０を含む。このディスプレイは、ＭＬＳ４２５又は撮像サブシステム４３０に接続することができる。ＭＬＳ４２５及び撮像システム４３０は、データ転送インタフェース４６５を有する。１つの実施形態において、ＭＬＳ４２５は、様々なＡＩＰ、メモリ、及び他の構成要素の通信チャネル及び接続を提供する１つ以上のバス／マザーボード４６８を含む。１つの実施形態において、ＭＬＳ４２５は、いくつかのＡＩプロセッサ（ＡＩＰ：AI processor）を含む。これらは、サーバ構成内に配置することができる。図示するように、３つのＡＩプロセッサＡＩＰ１、ＡＩＰ２、及びＡＩＰ３は、シリアル、パラレル、又はそれらを組み合わせたもので通信を行う。ＭＬＳ及び撮像システムは、１つの実施形態においてハウジング内に配置される。このハウジングは、ＡＩＰによって生成される高温を管理する冷却システムＣＳを含む。１つの実施形態において、ＡＩＰは、１つ以上のグラフィックス処理ユニット（ＧＰＵ：graphics processing unit）を含む。１つの実施形態において、ハウジングは、ハウジング内のＡＩＰの継続動作を確保するように冷却システムＣＳを調整する温度センサＴＳを含む。１つの実施形態において、１つ以上のＡＩＰは、撮像システム及び／又はＭＬＳにネットワーク接続され、ハウジングの外部で処理されるデータを転送する。

１つの実施形態において、システムは、ＡＩプロセッサに接続するマザーボードを含む。このマザーボードは、システムのハウジング内に配置される。ハウジングは、カテラボ又は別のロケーションにおいてハウジング及びその撮像ＭＬＳシステム構成要素を移動させるために、車輪を含むカートとすることができる。システムは、ＯＣＴプローブ又はＩＶＵＳプローブ等の光学撮像プローブのカプラを含むプローブインタフェースユニット４７０を含む。このＰＩＵは、１つの実施形態においてドックとも呼ばれる。

様々な実施形態において、トレーニングされたニューラルネットワークは、撮像／データ収集システムのハウジング内に配置されたグラフィックスプロセッサ／グラフィックス処理ユニット等のＡＩ／ＭＬプロセッサ上で実行される。ＡＩ／ＭＬプロセッサはＮ個の並列プロセッサを含む。１つの実施形態において、Ｎは約２０００～約２５００の範囲である。１つの実施形態において、Ｎは約２０００～約３０００の範囲である。１つの実施形態において、Ｎは約３０００～約４０００の範囲である。１つの実施形態において、Ｎは約４０００～約５０００の範囲である。１つの実施形態において、Ｎは約５０００～約６０００の範囲である。複数の並列プロセッサは、計算ユニットと呼ばれる個々のハードウェア素子上にグループ化することができる。１つの実施形態において、計算ユニットは、所与のＡＩプロセッサについて約２０個～約８０個の範囲の計算ユニットである。各計算ユニットは、複数の並列プロセッサを有することができる。１つの実施形態において、計算統合デバイスアーキテクチャ（ＣＵＤＡ：Compute Unified Device Architecture）が、約２０００個～約１００００個のコアの範囲にあるＣＵＤＡコアとともに使用される。１つの実施形態において、計算統合デバイスアーキテクチャ（ＣＵＤＡ）は、約２０００個～約２５００個のコアの範囲にあるＣＵＤＡコアとともに使用される。適した並列プロセッサの例は、Nvidiaから提供されるＣＵＤＡコア及びテンソルコアプロセッサと、AMDから提供されるストリームプロセッサとを含むが、これらに限定されるものではない。１つの実施形態において、約２００個～約３００個のテンソルコアが、使用されるＡＩプロセッサ／グラフィックスプロセッサに含まれる。

１つの実施形態において、ＡＩプロセッサメモリ（ＡＩＭ）は約８ＧＢよりも大きい。１つの実施形態において、ＡＩプロセッサメモリは約１６ＧＢよりも大きい。１つの実施形態において、ＡＩプロセッサメモリは約３２ＧＢよりも大きい。１つの実施形態において、ＡＩプロセッサメモリは約６４ＧＢよりも大きい。１つの実施形態において、ＡＩプロセッサメモリは約１２８ＧＢよりも大きい。１つの実施形態において、ＡＩプロセッサメモリは約４ＧＢ～約２５６ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約８ＧＢ～約１２８ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約１６ＧＢ～約６４ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約８ＧＢ～約３２ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約３２ＧＢ～約６４ＧＢの範囲である。１つの実施形態において、電子メモリ記憶デバイスのうちの１つ以上が、処理速度を高めて、患者がカテラボにいるときのＭＬＳ動作のデータ解析時間を削減するＮＶＭｅ（商標）インタフェースを含む。１つの実施形態において、オンボードＲＡＭの１６ＧＢ以上が、撮像システム／データ収集システムのマザーボード上で使用される。１つの実施形態において、オンボードＲＡＭの３２ＧＢ以上が、撮像システム／データ収集システムのマザーボード上で使用される。

１つの実施形態において、ＡＩプロセッサメモリは約１ＧＢ～約２ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約２ＧＢ～約４ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約４ＧＢ～約６ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約６ＧＢ～約８ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約８ＧＢ～約１０ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約１０ＧＢ～約１２ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約１２ＧＢ～約１４ＧＢの範囲である。１つの実施形態において、ＡＩプロセッサメモリは約１４ＧＢ～約１６ＧＢの範囲である。

図４Ｃは、画像データに関する関心特徴／領域を特定／セグメンテーションする２つの代替のプロセスフローを用いて画像データを処理するのに適したソフトウェアモジュールを有するシステム４７５を示している。１つの実施形態において、画像データは、極ＯＣＴ画像データ等の動脈画像データであるが、様々な画像ソースからの他の画像データも使用することができる。上側のプロセスフローの選択肢では、人工知能ベースの管腔検出４８７が、グラウンドトゥルースとしての管腔境界／管腔マスクに対してトレーニングされたＮＮを使用すること等によって行われる。このＡＩ管腔検出は、ＧＰＵ等のＡＩプロセッサ又は専用メモリを有する他のプロセッサ上で動作する。画像データは、画像データのフレーム用の検出された管腔境界のマスク又は他の表現とともに、フォワードプロパゲーション及びバックプロパゲーションを使用して画像をセグメンテーション／分類し、クラス、関心特徴、関心領域、及びＮＮがトレーニングされた他の検出／予測を生成するＮＮを用いて処理される。その結果、出力予測画像マスク等の予測結果４９５が生成される。

対照的に、他の実施形態において、サイドブランチ４７９、ガイドワイヤ４８１、及び管腔４８２等の任意の初期検出の結果を、動脈データの処理及びトレーニングされたＭＬＳを使用した事前検出のためのＭＬＳへの入力としての動脈画像データとともに使用する前に、他の検出／予測が様々なシーケンス及び順序で行われる。このように、ピクセルのクラス、ＦＯＩ、ＲＯＩ等の所与のセットのＭＬＳベースの検出／予測が、画像データ及び検出の事前セットに関して決定される。サイドブランチ、ガイドワイヤ、管腔等の事前検出は、画像マスクとして記憶することができる。１つの実施形態において、ＭＬＳは、図示した例示的な実施形態において、サイドブランチ、ガイドワイヤ、及び管腔等の実施された事前検出を含んだグラウンドトゥルース画像データセットに対してトレーニングされる。

部分的に、本開示は、石灰化組織等の組織、若しくはカルシウムプラークを含むカルシウム、又は他の関心領域を検出し、アテレクトミの関連した結節／関心領域を特定し、レーザを使用してアテレクトミを行う実質的にリアルタイムでガイドされる方法を使用する自動化方法に関する。様々な実施形態において、ＯＣＴ撮像プローブは、掃引光源レーザ等の撮像レーザと光通信する。その結果、プローブを通って、光が撮像レーザから受信されるユニタリレンズ、ＧＲＩＮレンズ、又はビームディレクタ等の光誘導素子に延びる光路が存在する。光は、上記光学素子のうちの１つを通って組織に送信され、そして、組織からの光は受信され、ＯＣＴ撮像システムに戻される。ＯＣＴ撮像システムでは、この光は、撮像レーザによって生成された光と干渉する。

図５Ａは、ＯＣＴガイドアテレクトミを実行する例示的なシステムの概略図である。次いで、図５Ｂは、ＯＣＴガイドアテレクトミを実行する例示的な方法の概略図である。図５Ａには、トレーニングされたＮＮ等の特徴検出ソフトウェアを含む１つ以上のＭＬＳシステムを含むＯＣＴシステム５０５を用いて関心特徴を検出するシステム５００が示されている。撮像プローブ５１０は、干渉計のサンプルアームの一部である光ファイバを含む。干渉計の基準アームは、ＯＣＴシステム５００に含まれるか又はＯＣＴシステム５００と通信する。患者インタフェースユニット４７０は、撮像プローブ及びその光ファイバをＯＣＴシステム５０５に結合するロータリカプラ又は他のメカニズムを含む。

１つ以上の光スイッチ５２０が、ＰＩＵ４７０と光通信することができる。光スイッチ５２０は、コントローラソフトウェア又はコントローラによって制御することができる。次いで、ＯＣＴシステムは、撮像レーザ５２７を含み、アブレーションレーザを含むか又はアブレーションレーザと通信する。制御ソフトウェア又はコントローラ５３５は、光スイッチが、光をプローブ５１０に誘導するＧＲＩＮレンズ、ビームディレクタ、マイクロレンズ、又は他の光学素子を使用してＯＣＴ撮像用の撮像レーザとターゲットアブレーション用のアブレーションレーザとの間を切り替えることを可能にする。次いで、ＭＬＳと、カルシウム検出ソフトウェア５２５等のその検出ソフトウェアとを使用して、カルシウム、又はアブレーションが好ましい処置オプションである他の物質を含む関心領域を特定することができる。

部分的に、本開示は、ＯＣＴソフトウェア又は他の撮像ソフトウェアとともに動作するディープラーニングベースの人工知能システム等のＭＬＳシステムを使用したカルシウム検出に関する。ＭＬＳは、カルシウムプラーク又は他のアブレーションターゲットが存在する領域を強調する。ディープラーニングネットワーク／ＭＬＳは、エキスパートユーザによってマーキングされたカルシウム領域を有する４５０個～１０００個の注釈付きＯＣＴ画像を使用してトレーニングされたものである。このトレーニングされたネットワークには、そして、ディープラーニングネットワークを通じてピクセルレベルにセグメンテーションされた生のＯＣＴ画像が供給されている。

１つの実施形態において、ＯＣＴソフトウェアとともに動作するディープラーニングベースの人工知能等のトレーニングされたＭＬＳシステムを使用したカルシウム検出は、本開示の１つの態様である。ＭＬＳは、カルシウムプラーク又は他の排除可能な組織が存在する領域を強調する。ディープラーニングネットワークは、エキスパートユーザによってマーキングされたカルシウム領域を有する４５０個の注釈付きＯＣＴ画像を使用してトレーニングされたものである。このトレーニングされたネットワークには、ディープラーニングネットワークを通じてピクセルレベルにセグメンテーションされた生のＯＣＴ画像が供給されている。

図５Ｃ及び図５Ｄは、ＭＬＳシステムを使用してカルシウムプラーク領域を強調するようにセグメンテーションされたＯＣＴ画像を示している。図５Ｅは、３Ｄ図、横断面図及び縦断面図で石灰化プラーク等の検出されたカルシウムの領域を表示するユーザインタフェースである。次いで、図５Ｆは、ＯＣＴデータを血管造影データと共位置合わせし、そして、血管造影データに関してカルシウムを含むフレームを表示することによって、血管造影データに関して作成されたカルシウムマップである。これは、ＯＣＴにおいて検出されたカルシウムプラークを、レビュー及び計画のために血管造影グラフィカルユーザインタフェース上にマッピングする。ＯＣＴプルバックにおいて検出されたカルシウム領域も、医師によるレビューのために血管造影データ上にマッピングされる。そして、医師は、アテレクトミ又はアブレーション手技の候補であるカルシウム結節関心領域を特定する。

図５Ｂに概略されるように、ＯＣＴ撮像プローブを使用して関心組織を検出し排除する方法５６０が記載される。最初に、第１のＯＣＴプルバックが行われる（５６３）。ＯＣＴデータの初期セットを用いて、カルシウム検出が、ＭＬＳ実施形態、又はカルシウムを検出する別の方法を使用して行われる（５６５）。ＯＣＴデータは、血管造影撮像セッションの間に収集される。その結果、ＯＣＴ画像及び血管造影画像は共位置合わせされる（５７３）。図５Ｄに示すようなカルシウムマップが生成される（５７５）。次に、臨床医は、画像データ及びカルシウム検出をレビューし、アブレーションの根拠となるプラークを特定する（５７７）。アテレクトミの領域が特定されると、第２のＯＣＴプルバックが行われる（５７９）。この取得の間の時間に、カルシウム検出５８１も行われる。撮像／アブレーションシステムは、ソフトウェアベースの制御５８３の一部として、カルシウムマップ及びターゲットカルシウム結節を使用してアテレクトミの高出力レーザを位置合わせする。このシステムは、リアルタイムのカルシウム検出も行って、第１のＯＣＴプルバック画像と現在の画像との間に位置合わせの変化があればこれを補正する。これは、検討する必要があるフレームの検索ウィンドウの範囲を狭くすることによって容易になる。１つの実施形態において、カテーテル先端がターゲットのカルシウムプラーク結節に到達すると、高出力アブレーションレーザがオンになり（５８４）、短いエネルギーバーストを与え、カルシウム結節を蒸発及び減量させる。アブレーション手技は、アテレクトミ５８７を行うように様々な実施形態においてユーザ制御される。

図５Ｇ及び図５Ｈは、本開示の例示の実施形態による注釈付きデカルトＯＣＴ画像を示している。これらの図は、管腔内の撮像プローブＰの位置と、血管壁Ｗと、外膜ＡＤと、カルシウムプラーク及びカルシウム角度に関する細部とを示している。１つの実施形態において、ＭＬＳを使用してカルシウム角度測定値を検出し、出力することができる。図５Ｉは、本開示の例示の実施形態による、動脈の様々な層を特定する拡大デカルトＯＣＴ画像を示している。

図５Ｊは、本開示の例示の実施形態による、所与のＭＬＳ実施形態とともに使用される画像データの注釈付けに適したグラウンドトゥルース又はトレーニングセットのレビューの一部として特定された動脈の様々な層を有する図５Ｃの動脈の組織構造画像を示している。図５Ｇ及び図５Ｈには、管腔Ｌを画定する血管壁ＶＷを有する血管Ｂに関してｉｎ－ｖｉｖｏ環境に示された血管内プローブＰを使用することによって取得された動脈の横断面画像が示されている。血管Ｂの楕円形／円形の反射及び陰影はサイドブランチＳＢも含む。

図６Ａ及び図６Ｂは、デカルトＯＣＴ画像、並びに管腔（青色インディシア）、中膜（緑色インディシア）、及びＣａ／Ｃａプラーク（赤色インディシア）を特定するＭＬＳの予測出力と、本明細書に開示される１つ以上の実施形態に従ってトレーニングされたニューラルネットワーク（ＮＮ）を有するＭＬＳベースのシステムを使用して取得された３．３１ｍｍの例示的な直径測定値とを示している。図６Ｃ及び図６Ｄは、元のデカルトＯＣＴ画像と、撮像プローブを使用して収集されたスキャンラインを用いて生成される極画像とを示している。図６Ｅは、Ｃａ、管腔、内膜、及び中膜のグラウンドトゥルースマスクを示している。図６Ｆは、本開示のディープラーニングＭＬＳから出力される予測結果を示している。

図７Ａは、組み合わせ撮像ＭＬＳベースのシステムを使用して取得されるようなデカルト形式の元の例示的なＯＣＴ画像を示している。撮像プローブは、この画像の右上４分の１の部分に示されている。暗い管腔領域が中央部にある。図７Ｂは、図７Ａのデカルト画像に対応するグレースケール極画像を示している。図７Ｃ及び図７Ｄは、グラウンドトゥルースマスクと、トレーニングされたＭＬＳを使用した注釈、トレーニング及び予測のための入力として図７Ｂの画像を用いて生成されるＭＬＳ実施形態のディープラーニング出力とを示している。各マスク又は各検出はチャネルに対応する。部分的に、本開示は、グラウンドトゥルース及び予測結果に対応する画像マスクを使用した組織分類の使用向けに設計されたマルチチャネルＭＬＳに関する。

１つの実施形態において、セマンティックセグメンテーションが、組織タイプ、カルシウム、サイドブランチ、管腔、ガイドワイヤ、内膜、中膜、カルシウム、繊維質、ステント、ステントストラット、狭窄、及び他の動脈特徴等の複数の動脈特徴に対応する複数のチャネルに対して実行される。様々な特徴のグラウンドトゥルースは、畳み込みニューラルネットワークをトレーニングするのに使用される。１つの実施形態において、２つのニューラルネットワークが使用され、第１のニューラルネットワークが管腔検出に使用され、管腔検出が第１のニューラルネットワークによって行われた後に、第２のニューラルネットワークが他の動脈特徴を検出するのに使用されるようになっている。１つの実施形態において、第１のネットワーク若しくは第２のネットワークのいずれか、又は双方のネットワークは畳み込みニューラルネットワークである。いくつかの実施形態において、管腔検出は、本明細書に開示されるカルシウム、中膜、内膜、及び他の特徴等の他の関心特徴を検出する前に、画像データに対して行われる。管腔検出は、２０１０年９月２２日付けで出願された「Lumen morphology image reconstruction based on the scan line data of OCT」と題する米国特許第９，１３８，１４７号に開示されているシステム及び方法を含む様々なシステム及び方法を使用して実施することができる。この米国特許の詳細な内容は、引用することによってそれらの全体が本明細書の一部をなすものとする。

１つの実施態様では、第１のニューラルネットワーク及び第１の画像処理パイプラインが使用される。撮像セッションの間にカテーテルが挿入される待ち合わせ滞留時間を削減することが有利であり、したがって、関心領域／特徴の分類システムからの出力を生成する時間を削減することが望ましい。したがって、いくつかの実施形態において、ニューラルネットワークは、Ｍ個及び／又はＭ個以上のタイプの関心特徴／領域のクラスを用いて注釈付けされた画像データのフレームを使用してトレーニングされる。いくつかの実施形態において、Ｍは２～３の範囲である。いくつかの実施形態において、Ｍは２～４の範囲である。いくつかの実施形態において、Ｍは２～５の範囲である。いくつかの実施形態において、Ｍは２～６の範囲である。いくつかの実施形態において、Ｍは２～７の範囲である。いくつかの実施形態において、Ｍは２～８の範囲である。いくつかの実施形態において、Ｍは２～９の範囲である。いくつかの実施形態において、Ｍは２～１０の範囲である。いくつかの実施形態において、Ｍは３～４の範囲である。いくつかの実施形態において、Ｍは３～５の範囲である。１つの実施形態において、Ｍは３であり、ニューラルネットワークをトレーニングするのに使用されるタイプ／クラスは、カルシウム、管腔、及び中膜である。ニューラルネットワークをトレーニングするのに使用されるグラウンドトゥルース注釈／グラウンドトゥルースマスクは、注釈付けされた領域のグループを有するマスクを含み、１つのグラウンドトゥルースマスクにおける注釈付き領域のうちの少なくとも３つは、中膜注釈、カルシウム注釈、及び管腔注釈を含む。様々な実施形態において、関心特徴／領域のタイプ及びクラスのいずれの収集も、本明細書に開示されるタイプ及びクラスのうちのいずれかを含むことができる。

様々な実施形態において、トレーニングされたニューラルネットワークとともに画像処理パイプラインを使用することによって、これらのそれぞれを通じた画像データの迅速化された処理がサポートされる。加えて、画像内の全ての可能な検出可能特徴の注釈を有する関心特徴／領域を予測するようにニューラルネットワークをトレーニングすることは、ネットワークを使用して結果を予測するときに、ネットワークの過度のトレーニング時間、過度のネットワーク複雑度、及び過度の処理時間のうちの１つ以上をもたらす。

図８Ａは、エキスパートデータ／グラウンドトゥルースデータを用いて注釈付けされる前の極ＯＣＴ画像８００に対する前処理動作を示している。図示するように、前処理ステップの一部として、有用な撮像データ又は検出可能な組織若しくはＲＯＩ若しくはＦＯＩを符号化も捕捉もしない深さピクセルは、深さ寸法を縮小又は制約することによって効果的に除外され、反復拡張又はエキスパートトゥルースデータを用いた直接注釈に使用することができる削減された画像データ要素８０５が生成される。１つの実施形態において、複数のデータ拡張プロセスが、循環シフト、左右フリップ、及び他の画像ベースの変換等を通じて１つの画像又は画像データ要素をその複数のバージョンに変換するのに使用される。

例えば、元の画像が、９０度、１８０度、及び２７０度等の複数の位相だけ円形シフトされた場合に、それらの新たなバージョン及び元の画像又は画像データ要素は、４つのバージョンを構成する。これらの４つのバージョンのそれぞれを左右フリップして、８つのバージョン又は拡張を得ることができる。さらに、これらのそれぞれは、ユーザがピクセルのセット、ピクセル領域の境界、及び他の幾何学要素を選択して、カルシウム、管腔、サイドブランチ等の分類等のグラウンドトゥルース情報を用いて画像データに注釈付けすることができる図３Ａ及び図３Ｂに示すユーザインタフェースソフトウェア等を使用することによってグラウンドトゥルース注釈を用いて注釈付けすることができる（８１０）。さらに、これらは、コスト関数又は他のメトリックを用いて検出精度を測定するために、トレーニングされたＭＬＳによって評価することもできる。複数のバージョン／拡張の結果又は統計的解析の平均は、検出精度を改善するのに使用することができる。

図８Ｂ～図８Ｄは、本開示の例示の実施形態による、管腔、中膜、及びカルシウムを検出するための様々な例示的な画像マスクを示している。管腔、内膜、中膜、カルシウム、繊維質、及び本明細書に開示される任意のＲＯＩ又はＦＯＩのマスク等の様々な画像マスクを使用することができる。マスクは、１つの実施形態において２値マスクである。さらに、１つの実施形態において、各マスクは、グラウンドトゥルース検出を反映するために使用することができる。いくつかの実施形態において、所与のグラウンドトゥルースマスクは、カルシウム、管腔、内膜等のグラウンドトゥルースクラスに対応する１つ以上の領域と、クラスのうちの１つ以上に対応しないマスクの他の領域とを含む。１つの実施形態において、グラウンドトゥルースマスクは、１つ以上のクラスに対応するピクセルの第１のセットと、１つ以上のクラスに対応しないピクセルの第２のセットとを含む。グラウンドトゥルースマスクは、図１Ｃ及び図２に示すニューラルネットワーク等の所与のＭＬＳのニューラルネットワークをトレーニングするのに使用することができる。１つの実施形態において、サイズ変更及び本明細書に記載される平坦化等の他のステップは、所与の生の画像の拡張又は追加のバージョンを生成する前に実行される。所与のマスクは、特定のチャネルに対応するピクセルのサブセットを含むことができ、チャネルは、本明細書に開示されるようなカルシウム、内膜等の関心特徴に対応する。マスクは、グラウンドトゥルースをトレーニングするために使用されるか、又は、画像データを処理して出力を得るためにトレーニングされたＭＬＳを使用した結果として使用される所与のチャネルのピクセルを特定することができる。１つの実施形態において、複数のマスクは、複数のチャネルに１対１で関連付けられ、所与の画像の処理は、マスクにおける所与の関心領域等の所与のチャネルにピクセルを割り当てる。１つの実施形態において、グラウンドトゥルース注釈は、情報の複数のチャネルを含む。例えば、ニューラルネットワークをトレーニングするための所与のグラウンドトゥルース注釈／マスクは、カルシウム領域、中膜領域、管腔領域、及び内膜領域を含む。

図９Ａ～図９Ｃは、ＭＬＳのニューラルネットワークをトレーニングする前に実行される前処理ステップの一部として元のＯＣＴ極画像に適用される循環シフト及び左フリップ、右フリップを示す極ＯＣＴ画像である。図９Ａ～図９Ｃでは、様々な前処理ステップが生の極ＯＣＴ画像等の画像データに対して実行される。これらの処理ステップ又は変換の結果、１つの生の極画像は、７つの追加の変更又はバージョンに変換される。このデータ拡張プロセスは、様々な方法で実施することができる。図９Ｂは、図９Ａの元の画像の循環シフトを示している。図９Ｃは、図９Ｂのシフト変換された図の左右フリップを示している。このような所与の拡張は、単一のフレームの画像の８つの変更を生み出すことができる。これは、１つのオリジナル及び３つの循環シフト（それぞれ９０度）を含む。これらの４つのコピーのそれぞれの左右フリップが合計で８つをもたらす。これらの動作、追加の動作、又はそれらのサブセットは、ＭＬＳのトレーニング及び／又はＭＬＳを使用した予測のためにデータを前処理するのに使用することができる。

図１０Ａ及び図１０Ｂは、それぞれグラウンドトゥルース注釈付き画像及び予測出力を示す画像である。図１０Ａの内部の青色のグラウンドトゥルースマスクは、より明るい中膜層によって仕切られている。黄色の層は、脂質ＬＰ等の別のチャネル又は分類として符号化することができる。オレンジ色の領域はカルシウムに対応する。いくつかの実施形態において、「偽陽性」を回避するためにペナルティ又は制約システムを実施することが望ましい。図１０Ｂには、背景チャネル「Ｂ」が示されている。背景が予測結果において特定されている場合に、これを使用して、背景が他の関心クラス又は関心タイプのうちの１つとして誤って分類されることを有効に防止することができる。様々な実施形態において、チャネルは、グラウンドトゥルース注釈を使用して生成することができる撮像アーティファクト、背景、不均一な回転歪み効果等に対応する特徴を使用して確立することができる。したがって、いくつかの実施形態において、ニューラルネットワークは、撮像データの所与のユーザインタフェース表現から除去するか又はユーザインタフェース表現に表示されるのを防止することが望ましいアーティファクト、撮像システム誤差、偽陽性、及び他の撮像現象を特定するようにトレーニングすることができる。予測結果を示すマスクは、図１０Ｂに表示されている。

図１１Ａ～図１１Ｄは、ＭＬＳ処理速度を高めて患者待ち時間を低減するように開発された様々な前処理ステップを示す画像である。図１１Ａに示すように、色分けマスク（中膜には緑色、Ｃａには赤色、及び管腔には青色）を介して示されるグラウンドトゥルースを有するＯＣＴ画像は、縦方向の９７６個のピクセルに沿って、有用なデータを欠いている深さ寸法に沿った領域３００等の領域が存在することを明らかにしている。これらの画像は、図１１Ｂに示すように平坦化することができる。極画像の中央領域及び上部領域における白色の管腔輪郭は、図１１Ｂにおいてほぼ直線に平坦化されている。この平坦化によって、ＭＬＳ／ＮＮは、関連のある組織データを含む可能性が高い変換された状態で画像の領域を処理することが可能になる。同様に、図１１Ｃには、Ａ個のライン（スキャンライン）を省略して中央画像を生成すること等によってハーフ解像度のサイズ変更が行われる。さらに、画像における深さピクセルが省略又は除外されて、画像が更にサイズ変更され、図１１Ｃの右側の前処理された画像が得られる。これらのステップは、ＭＬＳ動作を改善し、ＯＣＴ又はＩＶＵＳ画像の後に患者がカテーテルを挿入されるときにリアルタイム又は実質的にリアルタイムで実行することができる。このように、これらのプロセスは、時間を節約することができ、患者予後を改善することができる。図１１Ｄは、平坦化されたＯＣＴ画像２４４と、赤色のカルシウムプラーク領域、青色の管腔領域、及び緑色の中膜領域を示す画像マスクの形の推論結果又は予測結果を有する同じ平坦化されたＯＣＴ画像とを示している。平坦化は、いくつかの実施形態において、前処理ステップとして実行することができる。この極画像は、デカルト形式に変換することができ、図６Ｂのデカルト画像に類似した図でエンドユーザに表示することができる。

図１２Ａ及び図１２Ｂは、生の画像データが送られ、グラウンドトゥルースデータを用いた注釈とともに処理される例示的な処理ステップのフローチャートである。図１２Ａでは、ステップＡ１～Ａ８のうちの１つ以上を、本明細書に開示される１つ以上のコンピューティングデバイスベースのシステムを使用して実行することができる。図１２Ａに示すように、１つの実施形態によれば、システム及び方法は、以下のものの１つ以上を実行することができる。撮像システム及び／又はＭＬＳは、コンピューティングデバイス又はＡＩＰを介して、画像データ又は画像データ要素の多点注釈を実行することができる。注釈ＧＵＩは、点を配置及び接続して、画像内の所与の組織タイプを効果的にラベル付けする画像マスクに変換することができる境界を画定することを容易にする。方法は、管腔境界又は輪郭等の管腔検出を検出／更新することを含むことができる。方法は、注釈、管腔検出、生の画像データ又はデータ要素を、撮像システム等の１つのシステムから、ＭＬＳ／ニューラルネットワークに入力を提供するインタフェース又は中間システムに転送することを含むことができる。１つの実施形態において、画像データ要素をサイズ変更することは、有用でない画像データを除去して処理時間を改善するために行われる。１つの実施形態において、方法は、組織ラベル付け／注釈用の２値マスクを生成することを含む。さらに、データは、入力用にアレイとして又は別のフォーマットにフォーマットすることができる。最後に、画像マスクと、サイズ変更された生の画像データ又はデータ要素とを含むことができる入力データは、トレーニング又は予測等の処理のためにＭＬＳ／ＮＮに入力される。

図１２Ｂは、別の実施形態であり、本明細書に開示される様々なシステムによって実行することができる様々なステップを含む。図１２Ｂでは、本明細書に開示される１つ以上のコンピューティングデバイスベースのシステムを使用して、ステップＡ１～Ａ８のうちの１つ以上を実行することができる。これらのステップは、以下のものの１つ以上を含むことができる。撮像システム（ＯＣＴ、ＩＶＵＳ、Ｘ線、Ａｎｇｌｏ等）等の１つ以上のシステム構成要素が、生の画像データセットを取得する。様々な前処理ステップを実行することができる。生の画像及びグラウンドトゥルースデータを有するマスク画像の管腔領域及び／又は画像領域の平坦化を実行することができる。１つの実施形態において、１つおきのスキャンラインが除去される。１つの実施形態において、管腔輪郭又は境界が平坦化され、図１１Ｂ及び図１１Ｄに示すように、意味のあるＲＯＩ／ＦＯＩデータが強調される。他の実施形態において、画像を円形シフト、左右フリップ、又は異なる方法で変換することができる。これは、所与のトレーニングセットにおけるエントリを増加させる可能性もあるし、ＭＬの結果を監視し試験することができるように動作するＭＬＳ／ＮＮの異なるバージョンを生み出す可能性もある。

生の画像及び注釈付きマスク画像からスキャンライン／データ／ピクセルをクリッピング、省略、又は除去して（極形式又はデカルト形式において）行を調整することを行うことができる。例えば、図１１Ａに示すように、縦軸における深さに対応するピクセルを除去して、図１１Ｂ及び図１１Ｃに示すように画像をサイズ変更することができる。加えて、スキャンライン／データ／ピクセルを追加して、ＭＬＳ／ＮＮ処理のために生の画像及び注釈付きマスク画像の列を標準化することが有用な場合がある。方法は、生の画像データ及びマスク画像データを必要に応じてフォーマットし、予測解析又は追加のトレーニングのためにＭＬＳ／ニューラルネットワークに入力することを含むことができる。

図１３Ａ及び図１３Ｂは、組織分類を組み込んだ仮想ステント留置を通じてステント計画をサポートする診断ツールの例示的なユーザインタフェースを示している。これらのユーザインタフェースは、生理学に基づく最も重要な病変及び／又は最大限の流量回復を提供する最も短いステントを特定することができるＭＬＳ解析を描写することを助ける。１つの実施形態において、半円から形成された白色のステント領域によって示されるように、インタラクティブ仮想ステント留置を実行するために管腔表現に対して仮想ステントＶＳを位置決めすることができる。インタラクティブ仮想ステント留置によって、ステントを病変に合わせることが可能になる。ユーザは、予測ＶＦＲ値及び現在のＶＦＲ値を得ることができる。直径狭窄率（percent diameter stenosis）及び最小管腔面積を示す下部パネルにおけるＭＬＡ図は、狭窄及び／又は仮想ステント選択に基づいて変化するＶＦＲｐ値及びＶＦＲ値も示している。右上のパネルに示される血管造影画像は、他のパネルにおける動脈のデカルト図若しくは極図又は縦断面図と共位置合わせされる。図１３Ｂには、予測ＶＦＲｐ及び現在のＶＦＲが、管腔、カルシウムプラーク及び中膜のＲＯＩ／ＦＯＩに対応する様々なインディシアを用いてマスク又は特徴付けされた仮想ステントＶＳ及びデカルト動脈画像に関して示されている。

本明細書とともに開示される方法及びシステムは、ユーザ用の診断計画ツールを提供する。例えば、方法及びシステムは、プルバックからの画像データに対して動脈内への仮想ステントの留置を自動的に行うことができるようなツールを含む。そのような診断グラフィックユーザインタフェースベースのツールの更に詳細な内容は、図１３Ａ及び図１３Ｂに見ることができる。そのような診断計画に適した撮像及び機械学習を組み合わせたシステムからの例示的なユーザインタフェースは、図１３Ａ及び図１３Ｂに示されている。さらに、そのようなステントの自動留置は、そのようなステントを、最適なロケーションに、エンドユーザのために特定された適切なステントのサイズで表示するプロセス、ユーザインタフェース、及び関係のあるソフトウェアベースの特徴を含む。

本開示は、最適なロケーション又はそれ以外にいくつかの特定のパラメータを最適化するロケーションにステントを留置するステント計画ソフトウェアの様々な実施態様を含む。１つの実施形態において、ステント計画を容易にするように最適化されるパラメータは、特定の長さのステントを配備することによって達成することができる流量を含む。ステントの近位及び遠位のランディングゾーンロケーション並びにステントのサイズは、エンドユーザに提供される。これらは、可能なステントのセット及びステント配備ロケーションを使用して達成することができる流量の改善を最適化することによって求められる。

１つの実施形態において、トレーニングデータは、グラウンドトゥルースエキスパートガイダンス又は管腔検出等のためのＭＬＳからのガイダンスを使用して作成される。トレーニングデータはマスクに分けられる。１つの実施形態において、マスクは１つ以上の個々のチャネルである。それらは、トレーニングセットをトレーニングするのに使用される。トレーニングセットがニューラルネットワークに通されると、それらのチャネルのそれぞれは、ネットワークの種々の重み及びフィルタに基本的に寄与していく。このようにして、ＮＮは、マスク／トレーニングデータに応答して適応／変化する。次いで、患者サンプルデータがトレーニングされたネットワーク内に入力されると、生の画像データは、種々のチャネルを用いてタグ付け又はラベル付けされ、それらの全てのチャネルは、管腔、内膜、中膜、外膜、ＥＥＬ、ＩＥＬ、プラーク、カルシウム、カルシウムプラーク、ステント、ガイドワイヤ等の画像等のトレーニングセットにおいて使用される異なる特徴に対応する。

一般に、本明細書に開示されるＭＬＳシステムは、マルチチャネルセグメンテーションプロセスに関し、各組織タイプ、各関心領域、各動脈層等は、トレーニングセット及び予測出力を生成するためのそれ自体の画像マスクを用いて別々のデータチャネルとして処理される。

ステント配備の結果としての流量回復を評価する１つの例示的な手法として、「METHOD AND APPARATUS FOR AUTOMATED DETERMINATION OF A LUMEN CONTOUR OF A STENTED BLOOD VESSEL」と題する米国特許出願第１４／１１５，５２７号に記載されている方法を使用することができる。この米国特許出願の内容は、引用することによってそれらの全体が本明細書の一部をなすものとする。本明細書に列挙されているもの以外を含む他の手法も使用することができる。動脈内の流量変化及び挙動に関するいくつかの態様を理解するために、特定されたランディングゾーン及びステント長（複数の場合もある）に基づく仮想ステントの選択及び位置に関する狭窄及び様々な特徴を示す図１３Ａ及び図１３Ｂに示す特徴を検討することが参考になる。

様々な態様では、本開示は、冠動脈の極画像を使用する機械学習システム、ニューラルネットワーク、及び畳み込みニューラルネットワークのうちの１つ以上のトレーニングに関する。様々な態様では、本開示は、冠動脈の極画像に対して行われるグラウンドトゥルース注釈を使用する機械学習システム、ニューラルネットワーク、及び畳み込みニューラルネットワークのうちの１つ以上のトレーニングに関する。様々な態様では、本開示は、様々な組織タイプ及び関心特徴がトレーニングセットにおいて注釈付けされる冠動脈の極画像に対して行われるグラウンドトゥルース注釈を使用する機械学習システム、ニューラルネットワーク、及び畳み込みニューラルネットワークのうちの１つ以上のトレーニングに関する。

様々な態様では、本開示は、様々な組織タイプ及び関心特徴／領域がトレーニングセットにおいて注釈付けされる冠動脈のデカルト画像又は非極画像に対して行われるグラウンドトゥルース注釈を使用する機械学習システム、ニューラルネットワーク、及び畳み込みニューラルネットワークのうちの１つ以上のトレーニングに関する。様々な態様では、本開示は、トレーニングされた機械学習システム、ニューラルネットワーク、及び／又は畳み込みニューラルネットワーク、並びにそれらの組み合わせを使用して、極形式又は非極形式若しくはデカルト形式における入力患者データを分類／特徴付けし、様々な組織タイプ及び関心特徴がトレーニングセットにおいて注釈付けされる冠動脈の極画像に対して行われるグラウンドトゥルース注釈を使用して様々な組織タイプ及び関心特徴／領域を特定することに関する。

本開示は、グラウンドトゥルース組織タイプ及び関心特徴／領域を使用し、患者画像データ及び画像データ要素において様々な組織タイプ及び関心特徴／領域を分類し、特定し、及び／又は特徴付けることに関する。様々な実施形態、態様、及び／又は１つ以上のＭＬＳ実施形態において、組織タイプ及び関心特徴（ＦＯＩ）／領域（ＲＯＩ）は、複数の冠動脈、１つの冠動脈、ＯＣＴ画像、ＩＶＵＳ画像、Ｘ線画像、超音波画像、血管造影画像、動脈樹のグラフ又はプロット、サイドブランチ、管腔、ガイドワイヤ、ステント、ジェイルドステント（jailed stent）、生体吸収性スキャフォールド（ＢＶＳ：Bioresorbable Vascular Scaffold）、薬剤溶出性ステント（ＤＥＳ：drug eluting stent）、繊維質、ブルーミングアーティファクト、圧力ワイヤ、脂質、カルシウム、アテローム性プラーク、狭窄、プラーク、カルシウム、石灰化プラーク、組織を含むカルシウム、病変、脂肪、マルアポーズステント、十分に膨らんでいない（underinflated）ステント、過剰に膨らんだ（over inflated）ステント、放射線不透過マーカ、動脈樹の分岐角度、ＰＥＴドープ膜等の較正要素、シース、ドープシース、基準位置合わせ点、動脈の直径変化、動脈の径方向変化、撮像データを使用して取得された流量測定値、画像のＦＦＲ値、分岐モデル、上記のものの組み合わせ、上記のものの分類又はタイプのデカルト画像と、極画像、非極画像又はそれらの部分のデカルト画像と、極画像、非極画像のうちの１つ以上とを含むことができる。

１つの実施形態において、プローブは、光ファイバを含むか又は光ファイバと光通信するプローブ先端を含む。プローブの光ファイバ及び先端は、カテーテルシース等の１つ以上のシース内に配置される。プローブ先端は、角度付きビームディレクタ又はレンズキャップ及び他の撮像モダリティのトランスデューサ等の様々な素子を含むことができる。プローブ４０７の光ファイバは、ファイバの周囲に配置されたトルクワイヤも含むことができる。プローブは、管腔Ｌ内に光を送信し、血管壁ＶＷから散乱された光を受信する。

１つの実施形態において、光ファイバは、干渉計のサンプルアームの一部分である。ＯＣＴプローブ等のデータ収集プローブ４０７は、血管等のサンプルの撮像に適した深さ情報を収集するのに使用することができる。例えば、極画像又はデカルト画像等の画像データのフレームのセットがそれぞれ３Ｄで示される。図は、そのようなプローブ４０７によって送信及び受信される光信号に基づいて生成される。血管の断面画像は、プローブの回転に伴うスキャンラインの収集によって形成される（図３Ｄ、図３Ｅ、図６Ａ、図６Ｂに示されるデカルト画像を参照）。画像６Ａや６Ｂ等の断面画像はデカルト画像である。図７Ｂ及び図８Ａは、医用画像の極図又は極形式の例を示している。デカルト画像及び極画像は、様々な実施形態においてフレームと呼ぶことができる。

図３Ｂ、図３Ｃ、及び図３Ｄの横断面画像等のＯＣＴ画像は、通常、一時に１つのスキャンラインずつ取得される。カテーテル中心から発し最大撮像深度に至る光線に沿ったサンプルのシーケンスが、１つの実施形態においてスキャンラインと呼ばれる。１つの実施形態において、ＯＣＴ画像における最小データ単位がサンプルと呼ばれる。プローブ中心から発し最大撮像深度に至る光線に沿ったサンプルのシーケンスがスキャンラインと呼ばれる。ＯＣＴ画像は、通常、一時に１つのスキャンラインずつ取得される。横断面画像は、プローブが回転するにつれて収集されるスキャンラインのセットから形成することができる。さらに、動脈又は他の血管のセグメントを撮像するために、カテーテルは、回転しながら長手方向に移動される。このように、プローブは、螺旋状パターンで横断面画像のセットを取得する。画像は、関心のある血管又は動脈のスライスに関連した様々なスキャンラインから生じる。スキャンラインは、車輪のスポークのようにそれらの間に角度を伴って配置される。スキャンラインは、１つの実施形態において極フォーマットで取得される。

［組織特徴のマッピングに関するユーザインタフェースの特徴］
部分的に、本開示は、画像ナビゲーション、ユーザインタフェース設計、時間節約強化及び他の設計考慮事項を含む医療診断システムを対象とする。上記特徴は、カテラボにおいて行われる手技等のタイムクリティカルな医学的手技の間の時間及び情報管理の問題を改善する。本開示は、組織特徴付けの結果を組織マップ表示に変換する方法を記載している。組織特徴付けは、存在し得るか、開発過程であり得るか、又は開発され得る病理学の研究成果、人工知能技法、機械学習技法、減衰及び後方散乱ベースの技法、並びに画像処理検出及び強化技法等を含む様々な技法を使用して行うことができる。

本明細書に開示される組織マップの実施形態は、動脈、血管、又は他の身体管腔等の被検者の１つ以上の部分に関する様々な特徴付けされた組織及び境界並びにそれらの相対的配置を含む画像データの視認を向上させるユーザインタフェースを提供する。医師、研究者、技師、及び他のエンドユーザは、組織の特徴付けられた領域を有する画像のセットが与えられると、別の方法で可能であるものよりも迅速にかつ多くの情報を得た状況で、診断情報に基づいて計画決定に到ることができ、情報に基づく意思決定を行うことができる。

組織特徴付けは、一般に、患者組織の所与のセットについて組織のタイプ又は他の組織特性を求める１つ以上の方法を含む。したがって、動脈が撮像され、複数の画像が画像データのセットを形成する場合には、各画像における組織を特徴付けて、それらの組織が脂肪、筋肉等の特定のタイプのものであるか否かを高いレベルで判断することができるとともに、石灰化、内膜、ＥＥＬ、及び本明細書に開示されるような他のタイプ又は撮像されている被検者にそれ以外に存在するもの等のより詳細なレベルでも判断することができる。通常、１つ以上の検出プロセスが、画像の領域における対象となっている組織のタイプを検出するのに使用される。機械学習推論プロセス又は画像処理パイプラインベースのプロセス等の別の検出プロセスが、画像データにカルシウム及び中膜を検出した後、カルシウムプラークマスク及び中膜マスクが、画像フレームのセットに利用可能である。図２Ａに関して上記で論述したようにＡラインに沿って各マスクを投影することによってリング状構造を得ることができる。図１６～図１８は、本開示の例示の実施形態による、ステント留置及びアテレクトミ等の診断及び処置計画をサポートするために、様々な組織マップを表示するユーザインタフェースに統合される様々なインディシアを有する、動脈のＯＣＴ撮像プルバックを使用して生成される様々な組織マップ表現を示している。

図１４、図１５、図１６、図１７、及び図１８において、平面上の各リングは、３ＤプルバックＯＣＴデータからの組織の特徴付け結果の１つのフレームを示している。図１４には、動脈１４０５の３次元表現が、ガイドワイヤＧＷ、ＭＬＳ又は別の手法を使用して検出されたカルシウムの領域並びに３つの断面境界Ｒ１、Ｒ２、及びＲ３とともに示され、図示するように、これらの境界又はリングは平面に投影され、組織マップＴＭが生成される。組織マップの別のバージョンも、図２Ａ並びに図１６及び図１７に示されている。図１５は、近位方向及び遠位方向に延びる３Ｄ動脈表現１４２５に沿って示される様々な切断面／リング／境界Ｒ１～Ｒｎの概略表現を示している。１つの実施形態において、ＯＣＴ、ＩＶＵＳ、Ｘ線、又は他の撮像モダリティ等の撮像データを使用して、動脈１４２５のそのような３Ｄ表現を生成することができる。

血管内の光コヒーレンス断層撮影（ＯＣＴ）画像は、冠動脈形態構造の高解像度の視覚化を提供する。部分的に、本開示は、冠動脈内プラーク（カルシウム、脂質、繊維化、及び血栓）の自動検出及び／又は分類に関する。内部及び外部の石灰化境界も、１つの実施形態において検出及び表示される。検出及び分類のプロセスは、ＯＣＴ画像の解釈を向上させることができ、ターゲット情報を診断医に提供することができる。部分的に、本開示は、明瞭で、解釈が容易であり、組織マップＴＭ及び図１４～図１８に示す例のように被検者の診断の助けとなる方法で、血管内データセットに適用されたデータ解析の結果をユーザに表示するシステム及び方法に関する。

部分的に、本開示は、ユーザインタフェースと、所与の動脈又は別の身体管腔（腸、食道等）の撮像データのセットから全体的な組織マップを生成するものとすることができるグラフィックデータ表現とを提供するグラフィックユーザインタフェース（ＧＵＩ）を記載している。組織マップは、組織マップの特定の領域のユーザ選択等のユーザ選択に応答する。ユーザが組織マップ領域をクリックするか又は別の方法で選択することに応答して、適用可能な撮像システムのユーザインタフェースソフトウェアモジュールは、ユーザ選択に特有の基礎となる画像又は画像データのフレームを表示することができるように、ユーザに表示される情報をリダイレクトすることができる。

このように、長い一連の画像又は画像データのフレームをスクロールするのではなく、組織マップがユーザに提示される。組織マップに関するインタラクション及び選択は、動脈内のカルシウムプラーク又は脂質等の関心領域にエンドユーザを迅速に誘導することによって診断及び解析を削減する。さらに、これは、患者が台の上でカテーテルを挿入されている間、及び、血管のセクションを撮像するために血流が一時的に停止されている間のステント計画を促進することができる。このように、より高速の決定を行って、患者予後を改善することができる。ステントランディングゾーンを選択することも、適切なステント拡張がカルシウム又は別の望ましくない動脈状態の存在によって制限される石灰化領域を回避することによって向上される。動脈の好都合な領域及び不都合な領域は、色、グラフィックス、視覚キュー、又はアニメーション若しくは他のキュー等の他のインディシア若しくはユーザインタフェースの特徴を使用して適した又は不適のステントランディングゾーンとしてフラグ付けすることができる。

部分的に、本開示は、光コヒーレンス断層撮影システム等のカテラボでの使用に適した血管内データ収集システム等のデータ収集システムに関する。部分的に、本開示は、血管内画像データを表示するのに適したプロセッサを含むデータ収集システムに関する。表示される画像データは、深さ測定値に基づいて生成されるデータ又は画像を含む。１つの実施形態において、画像データは、光コヒーレンス断層撮影を使用して生成される。システムは、血管内プラークに関するデータ等の血管内情報を表示するユーザインタフェースも表示することができる。

部分的に、本明細書に開示される診断システム、方法、ナビゲーションツール、及び組織マップ並びに関係した特徴は、１つ以上の組織特徴付けプロセス並びに画像データ検出及び解析ソフトウェアモジュールが動作した後に、プラーク組成、病変特性、組織タイプ、並びに関係した組織情報及び血管情報に基づいて解釈及び意思決定を行うより良いツールの形態での改良を提供する。組織マップインタフェース、及び、所与の被検者のスキャンの間に取得された基礎となる画像データから編成された特徴付き組織データは、様々な改善された画像ビューを実証する。例えば、ＯＣＴ及び他の血管内撮像モダリティに関して、所与の組織マップは、単一の画像におけるフル撮像プローブプルバックの容積図（volumetric view）を提供することができる。

この場合に、撮像プローブは、回転して撮像データを取得するにつれて、血管を通ってプルバックされる。エンドユーザは、所与の組織マップを使用して、カルシウムプラーク及びステント実装のための健全なランディングゾーンの円弧拡張（arc extend）及び厚さを迅速に実現することができる。さらに、組織タイプに関する他の細部を評価することができる。加えて、所与の組織マップがカルシウム又は他の望ましくない組織状態の過度の量を明らかにする範囲で、この情報は、エンドユーザがバイパス又はアテレクトミ等の代替の処置オプションを選択することを容易にすることができる。所与の組織マップは、種々の方法を使用して生成することができる。所与の方法は、撮像システムを用いた患者のスキャンから取得された画像データのソースに基づいて変化し得る。

介入前評価（pre-intervention assessment）ステージにおいて、医師は、プラーク組成にアクセスすることができる。図１６の組織マップ表示１４２５に示すように、緑色Ｇを有するピクセルは、中膜が組織特徴付けにおいて検出されたエリアを示す一方、赤色はカルシウムプラークＣａの存在を示す。所与の組織マップユーザインタフェースにおいて言及される色は異なる場合があり、いくつかの例ではハッチングによって、又は、他のインディシアを使用することによって取り替えることができる。

組織マップにおける点線は、動脈表現の長さに沿った図１４におけるＲ１、Ｒ２、及びＲ３のリングとの照合を提供するために示されている。１つの実施形態において、所与の組織マップは、カルシウムプラークの広がりを示すことができる。強度値は、約０．５ｍｍ～約１．５ｍｍの範囲の記号によって示すようにミリメートルによるカルシウムプラークの厚さに対応する。本明細書に開示される方法を使用して検出されたＲＯＩ／ＦＯＩの任意のクラス又はタイプを、組織マップ１４２５等の組織マップ表現を使用して表示することができる。加えて、プラークを含む繊維質及び脂質のような他の情報も、図１８における例示的な組織マップに示すように組織マップに追加することができる。ステント配備ステージにおいて、医師は、このプロットからランディングゾーンを容易に確認することができる。緑色の強度は、中膜の厚さを示すが、１８０度で対向するＥＥＬの２つの端点の距離を示すように変更することができる。次いで、これは、ステントサイズに関する有用な情報に使用することができる。

図１７は、図１６の組織マップを、特定された中膜Ｍ、管腔Ｌ、及びカルシウムＣａを用いて示される横断面フレームＲ１、Ｒ２、及びＲ３とともに示している。１つの実施形態において、これらの関心領域は、管腔を青色として、カルシウムを赤色として、及び中膜を緑色としてというように色分けされる。次いで、図１８は、ガイドワイヤＧＷ（グレー色）、中膜Ｍ（緑色）、カルシウムＣａ（赤色）、脂質ＬＰ（青色）、及びサイドブランチＳＢ（境界が示される）のインディシアを含む組織マップ１４９０を示している。これらの様々な表現は、様々なワークフロー及び診断をサポートするのに使用することができる。

部分的に、本開示は、１つ以上の撮像及び組織検出方法論が適用された診断システムと、血管表現をナビゲートすることを容易にするこの診断システムのインタフェースとに関する。冠動脈等の所与の血管又は他の身体管腔について、１つ以上の組織タイプ又は他の関心領域を様々な技法を使用して特定することができる。特に、血管内の石灰化領域等のカルシウム結節、石灰化組織及び他のカルシウム関連組織を表すことができる。１つ以上の組織マップ表現は、特徴付けられた組織及び関心領域をユーザに表示するために生成及び使用することができる。検出と、１つ以上の組織マップ上に含めることとに適した特徴付けられた組織及び／又は関心領域は、次のもの、すなわち、脂質領域、管腔領域、ステントストラット、サイドブランチ、ガイドワイヤ、外弾性層（ＥＥＬ）、内弾性層（ＩＥＬ）、境界及びこれらに関する容積並びに本明細書に開示されるような他の動脈特徴及び組織タイプのうちの１つ以上を含むことができる。

部分的に、本開示は、冠動脈等の身体管腔の特徴付けられた組織に基づく１つ以上の組織マップ表現を使用して、改善された情報管理及び時間管理を容易にするユーザインタフェース設計に関する。図示された様々な組織マップにおいて、ページの方向に移動することは、ＯＣＴ画像プローブが位置決めされ、プルバックされたロケーションへ遠位に移動することである。プルバックの長さはＲ１とＲＮとの間であり、ＲＮはプルバックのフレームカウントである。最も低いリングカウントが最も近位である。１つの実施形態において、高いリングカウントが最も遠位である。これは、図１５のリング配置に見て取ることができる。

本開示は、血管のカルシウム及び他の組織を検出することができ、ＯＣＴ画像データ、ＩＶＵＳ画像データ、ＣＴスキャン画像データ、ＭＲＩ画像データ、血管造影画像データ及び他の画像データソース等の血管に関する特徴付けられた画像データを取得することができるという発見に部分的に基づいている。いくつかの撮像モダリティでは、石灰化領域は、離散的な暗い形状として見える。これは、ＯＣＴ画像のより明るい血管組織背景に対してカルシウムをより暗い領域として示すＯＣＴ画像に当てはまる。

部分的に、本開示は、組織タイプと、管腔、サイドブランチ、ステント、ガイドワイヤ及び血管の他の特徴、特性及び物質等の他の特徴とを含むことができる血管内の関心領域を特定する方法に関する。

１つの実施形態において、１つの組織タイプ解析及び／又は組織タイプセグメンテーションを受けた血管の表現は、血管の２次元横断面レンダリング又は血管の３次元縦断面レンダリングのうちの１つ以上を表す。１つの実施形態において、血管の表現又は血管に関して取得された下層の組織の特徴付けられた画像データは、組織マップに変換される。１つの実施形態において、検出された組織タイプ及び／又は関心領域を組織マップにおいて特定又はセグメンテーションするために、様々な色、形状、ハッチング、マスク、境界、及び他のグラフィカル要素若しくはオーバレイが使用される。

部分的に、本開示は、血管内の関心領域を特定するシステムに関し、このシステムは、メモリと通信するプロセッサを含み、このメモリは、実行されるとプロセッサに血管の画像データを取得させ、複数のフィルタを画像データに適用して特性又は組織タイプ等のタイプを生成させる命令を含む。１つの実施形態において、画像データは複数のスキャンラインである。１つの実施形態において、画像データはＸ線ベースのデータである。１つの実施形態において、画像データは極画像である。１つの実施形態において、１つ以上の極画像がサンプリングされる。サンプルは組み合わされて、血管の組織特徴付き表現を生成する。血管の組織特徴付き表現は極形式にある。組織マップが、極組織特徴付き表現をデカルト表現に変換することによって１つの実施形態において取得される。１つの実施形態において、組織マップは、近位から遠位への軸に沿って順に配列された一連のリング、円、又は楕円である。

部分的に、本開示の１つの実施形態は、本明細書に記載されるような１つ以上の検出プロセス及び表示プロセスを実行する血管内データ収集システム並びに１つ以上のソフトウェアベースのグラフィックユーザインタフェース及びソフトウェアモジュールに関する。１つの実施形態において、血管内データは、血管造影データが同時に収集されている間に収集される。他の実施形態において、血管造影、ＣＴスキャン、Ｘ線ベースの撮像、写真撮影、又は他の撮像モダリティが、組織マップを生成するのに使用される撮像データを取得するために使用される。

部分的に、本開示は、１つ以上の冠動脈等の被検者の血管を視覚化することによるステント計画及び外科オプションを含む処置評価のためのシステム及び方法に関する。画像データは、血管内データ収集プローブを使用して取得することができる。プローブは、血管を通ってプルバックすることができ、データは、血管に関して収集することができる。そのようなプルバック及び関連したデータ収集は、ステント配備の計画又は配備されたステントの評価に使用される。プルバックから結果として得られる血管内データは、様々な血管領域、特徴、及びそれらに対して配備されたステントの視覚化等のために様々な方法で使用することができる。組織マップを生成するのに使用される画像データは、対応する血管造影データと共位置合わせすることができる。したがって、ユーザは、組織マップの領域を選択することができ、マップ（ＯＣＴ、ＩＶＵＳ、Ｘ線等）を生成するのに使用された基礎となる画像データを見ることができるとともに、組織マップ上で選択された血管の領域を示す強調又は他のインディシアを有する血管造影データも見ることができる。

ステントは、本開示の様々な実施形態においてサイドブランチに関して視覚化することができる。これは重要な特徴である。なぜならば、ステント配備の間に、サイドブランチのステント留置を回避することが望ましいということが、通常は事実であるからである。このように、組織マップは、サイドブランチを示すことができ、サイドブランチを含むフレームは、ステントランディングゾーンの使用に不適であるとしてフラグ付けすることができる。本明細書に記載されるシステム及び方法は、異なるタイプの組織及び関心領域に関するステントランディングゾーンの視覚化を容易にする。組織マップは、様々なユーザインタフェース並びにステントストラット及びサイドブランチの表現において、収集された血管内データにおけるこれらの特徴の検出に基づいて血管造影データと共位置合わせすることができる。

部分的に、本開示は、ＯＣＴ、ＩＶＵＳ、及び他の撮像モダリティ等の血管内データ収集システムと、組織マップの一部としての血管内のステントランディングゾーン、サイドブランチ、関心領域、及び特徴付けられた組織領域等の診断情報の生成及び視覚化とに関する。上記のような関心のある診断情報を示すのに適したグラフィカル要素は、組織マップに要約された基礎となる画像に対する移動を容易にする組織マップにおけるユーザ選択要素としての機能を果たす。

また、本明細書に開示されているのは、ステント、組織タイプ、組織容積、及び組織境界を視覚化するシステム及び方法である。１つ以上のソフトウェアモジュールを使用して、サイドブランチ・ロケーション、管腔輪郭、及びステントストラット位置の検出、血管表現の生成、組織マップの生成、並びに組織マップに関するユーザ選択に基づく撮像のナビゲーションの制御を行うことができる。本明細書に開示されるシステム及び方法は、カルシウム、脂質、繊維質等を含む様々な組織タイプの角度、厚さ、容積、幅、フレームカウント、組織と管腔との相対近接度を測定することができる自動化測定システム及び関係した特徴も含む。

様々な実施形態において、そのような測定ツールは、特定の組織タイプの所与の関心領域の上記パラメータ及び任意の幾何学特性を測定するのに使用することができる。これらの測定は、エンドユーザによる検討に適した様々な格付け又はスコアを生成するのに使用することができる。例えば、血管の特定の領域におけるカルシウム負担が組織マップに現れているが、全体としては少量の表面カルシウムにすぎない場合には、これに関する測定は、ユーザをガイドし、そのような領域を候補ランディングゾーンとして除外しないことを助けることができる。

明確にするために、本開示は、省略することが好都合又は適切である箇所では常にいくつかの特定の具体的な詳細を省略しながら、出願人の教示の実施形態の様々な態様を解説していることが理解される。例えば、代替の実施形態における同様又は類似の特徴の論述は、幾分短縮される場合がある。既知のアイデア又は概念も、簡潔にするために、いかなる細部も論述されない場合がある。当業者は、本出願人の教示のいくつかの実施形態が、実施形態の完全な理解を提供するためだけに本明細書に述べられている、あらゆる実施態様における具体的に記載された詳細のうちのいくつかを必要としない場合があることを認識している。同様に、記載される実施形態は、本開示の範囲から逸脱することなく、共通の一般的な知識に従って変更又は変形を受けることができることは明らかである。実施形態の詳細な説明は、本出願人の教示の範囲をいかなる方法によっても限定するものとみなされるべきでない。

本明細書で使用される用語「約」又は「実質的に同一である」は、例えば、現実の世界における測定又はハンドリング手順を通して、これらの手順における偶発的な誤差を通して、電気素子の製造における差／不具合を通して、電気損失を通して発生する可能性がある数量の変動、並びに、変動であって、そのような変動が従来技術によって実施される既知の値を包含しない限り、当業者によって同等であるものと認識されることになる、変動を指す。典型的には、用語「約」は、述べる値の１／１０、例えば、±１０％だけ、述べた値又は値の範囲よりも大きい又は小さいことを意味する。例えば、約＋３ＶＤＣの電圧を素子に印加することは、＋２．７ＶＤＣ～＋３．３ＶＤＣの電圧を意味することができる。同様に、値が「実質的に同一である」というとき、それらの値は、最大で５％まで異なる場合がある。用語「約」又は「実質的に同一である」によって修飾されるか否かを問わず、特許請求の範囲において列挙された量的値は、当該列挙された値と同等のもの、例えば、発生する可能性があるが、当業者によって同等のものであると認識されるような値の数量の変動を含む。

［ＭＬＳ及び組織特徴付け／分類システム及び方法の非限定的なソフトウェアの特徴及び実施形態］
以下の説明は、本明細書に記載される本開示の方法を実行するのに適したデバイスハードウェア及び他の操作構成要素（operating components）の概要を提供することを意図される。この説明は、適用可能な環境又は本開示の範囲を限定することを意図されない。同様に、ハードウェア及び他の操作構成要素は、上述した装置の一部として適したものとすることができる。本開示は、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラマブルな電子デバイス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等を含む、他のシステム構成を用いて実施することができる。本開示はまた、カテーテル検査室又はカテラボの異なる部屋内等の、通信ネットワークを通してリンクされる遠隔処理デバイスによってタスクが実行される分散コンピューティング環境において実施することもできる。

詳細な説明のいくつかの部分は、コンピュータメモリ内でのデータビットに対する操作のアルゴリズム及び記号表現によって提示される。これらのアルゴリズム記述及び表現を、コンピュータ及びソフトウェア関連分野の当業者によって使用することができる。１つの実施形態において、アルゴリズムは、本明細書では、一般的に、所望の結果をもたらす操作の自己一貫性シーケンス（self-consistent sequence）であると考えられる。方法ステップとして実行されるか又は本明細書にその他の方法で記載される動作は、物理量の物理的マニピュレーション（manipulations）を必要とする操作である。必ずしもそうではないが通常は、これらの量は、記憶される、転送される、結合される、変換される、比較される、及びその他の方法で操作されることが可能な、電気信号又は磁気信号の形態を取る。

以下の論述から明らかなように特に別段の指定がない限り、本明細書の全体を通して、「処理」又は「計算」又は「分類」又は「特徴付け」又は「相関」又は「検出」、「評価」又は「畳み込み」又は「逆畳み込み」又は「分類」又は「セグメンテーション」又は「トレーニング」又は「注釈付け」又は「位置合わせ」又は「測定」又は「算出」又は「比較」、「生成」又は「検知」又は「決定」又は「表示」又は「ブールロジック」又は関係のある動作等の他のセット等の用語を利用した論述は、コンピュータシステム又は電子デバイスのレジスタ及びメモリ内の物理（電子）量として表されたデータを、電子メモリ若しくはレジスタ又は他のそのような情報記憶装置、伝送デバイス若しくはディスプレイデバイス内の同様に物理量として表された他のデータに操作及び変換する、トレーニングされたＭＬＳ、コンピュータシステム、ＡＩプロセッサ、ＧＰＵ、又は電子デバイスの動作及びプロセスを指すことが理解される。

本開示はまた、いくつかの実施形態において、本明細書の操作を実行するための装置に関する。この装置は、要求される目的のために特別に構築することができる、又は、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動又は再構成された汎用コンピュータを含むことができる。様々な回路及びそれらの構成要素を使用して、本明細書に記載されるデータ収集並びに変換及び処理のうちのいくつかを実行することができる。

本明細書に提示されるアルゴリズム及び表示は、本質的には、どの特定のコンピュータにもそれ以外の装置にも関係していない。様々な汎用システムを本明細書における教示に従ってプログラムとともに使用することもできるし、必要とされる方法ステップを実行するより専用化された装置を構築することが便利であることが分かる場合もある。様々なこれらのシステムの必要とされる構造は、以下の記載から明らかになる。加えて、本開示は、いずれかの特定のプログラミング言語に関して記載されたものではなく、様々な実施形態は、したがって、様々なプログラミング言語を使用して実施することができる。

本開示の実施形態は、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、又は汎用コンピュータ）とともに使用するためのコンピュータプログラムロジック、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブルロジックデバイス）とともに使用するためのプログラマブルロジック、ディスクリート構成要素、集積回路機構（例えば、特定用途向け集積回路（ＡＳＩＣ））、又はその任意の組み合わせを含む任意の他の手段を含むが、それらに全く限定されない多くの異なる形態で具現化することができる。本開示の典型的な実施形態において、ＯＣＴプローブ、２Ｄ撮像又は３Ｄ撮像システム及びプロセッサベースのシステムを使用して収集されるデータの処理の一部又は全ては、コンピュータプログラム命令のセットとして実装され、その命令のセットは、コンピュータ実行可能な形式に変換され、コンピュータ可読媒体にそれ自体記憶され、オペレーティングシステムの制御下でマイクロプロセッサによって実行される。したがって、クエリ応答及び入力データは、トレーニングセット、画像マスク、並びに本明細書に開示される他の入力及び出力を生成するのに適したプロセッサ理解可能命令に変換される。本明細書において上述した機能の全部又は一部を実施するコンピュータプログラムロジックは、ソースコード形式、コンピュータ実行可能形式、及び種々の中間形式（例えば、アセンブラ、コンパイラ、リンカ、又はロケータによって生成される形式）を含むが、それらに全く限定されない、種々の形式で具現化することができる。ソースコードは、種々のオペレーティングシステム又はオペレーティング環境とともに使用するために、種々のプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、又は、Ｐｙｔｈｏｎ、Ｐｅｒｌ、Ｇｏ、ＦＯＲＴＲＡＮ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、又はＨＴＭＬ等の高水準言語）のいずれかで実装された一連のコンピュータプログラム命令を含むことができる。ソースコードは、種々のデータ構造及び通信メッセージを規定し、使用することができる。ソースコードは、（例えば、インタプリタを介して）コンピュータ実行可能な形式とすることができる、又は、ソースコードは（例えば、トランスレータ、アセンブラ、又はコンパイラを介して）コンピュータ実行可能形式に変換することができる。

本明細書に記載される様々な実施形態、又はそれらの構成要素若しくは部分は、ソフトウェア、ファームウェア、及び／又はハードウェア、又はそれらのモジュールの多くの異なる実施形態において実施することができる。本実施形態のうちのいくつかを実施するのに使用されるソフトウェアコード又は専用制御ハードウェアは、本発明を限定するものではない。例えば、本明細書の上記に記載された実施形態は、例えば、従来の技法又はオブジェクト指向型技法を使用する．ＮＥＴ、ＳＱＬ、又はＭｙＳＱＬ等の任意の適したコンピュータプログラミング言語を使用するコンピュータソフトウェアで実施することができる。

コンピュータソフトウェア及び他のコンピュータ実施される命令のプログラミング言語は、実行前にコンパイラ又はアセンブラによって機械語に変換することができ、及び／又は、インタプリタによってランタイム時に直接変換することができる。アセンブリ言語の例は、ＡＲＭ、ＭＩＰＳ、及びｘ８６を含み、高水準言語の例は、Ａｄａ、ＢＡＳＩＣ、Ｃ、Ｃ＋＋、Ｃ＃、ＣＯＢＯＬ、Ｆｏｒｔｒａｎ、ＬＵＡ、Ｃｌｏｊｕｒｅ、Ｊａｖａ、Ｌｉｓｐ、Ｐａｓｃａｌ、及びＯｂｊｅｃｔＰａｓｃａｌを含み、スクリプト言語の例は、Ｂｏｕｒｎｅｓｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＰＨＰ、及びＰｅｒｌを含む。

実施形態の動作及び挙動は、実際のソフトウェアコード又は専用ハードウェア構成要素を具体的に参照することなく記載されている。そのような具体的な参照がないことは実現可能である。なぜならば、当業者は、過度の実験を伴うことなく適度な努力だけで、本明細書の記載に基づいて本開示の実施形態を実施するソフトウェアを設計することができ、ハードウェアを制御することができることが明確に理解されるからである。

様々な機械学習システムと、ディープラーニングニューラルネットワーク、３Ｄニューラルネットワーク、畳み込みニューラルネットワーク、２Ｄニューラルネットワーク、Ｎ層ニューラルネットワーク、フィードフォワードニューラルネットワーク、フィードフォワードネットワーク、フィードバックワードネットワーク、放射基底関数ニューラルネットワーク、コホネン自己組織化ニューラルネットワーク、リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）、モジュラニューラルネットワーク、ディープラーニングネットワーク、人工知能ベースのシステム及びフレームワーク、並びにこれらの組み合わせ等の関連したニューラルネットワークを使用することができる。

本明細書に記載される様々な機械学習システムのソフトウェア及び本明細書に記載される他のコンピュータ機能は、ＮＥＴ、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎ、Ｃ♯、Ｍａｔｌａｂプログラミングモジュール及びツール等の任意の適したコンピュータプログラミング言語を使用するとともに従来の技法、関数型技法、又はオブジェクト指向型技法を使用するコンピュータソフトウェアで実施することができる。例えば、様々な機械学習システムは、コンピュータ可読媒体、例えば、ＲＡＭ、ＲＯＭ、２次記憶装置等に記憶されるか又は別の方法で保持されるソフトウェアモジュールを用いて実施することができる。機械学習システムの１つ以上の処理コア（例えば、ＣＰＵ、ＧＰＵ及び／又はＡＩアクセラレータコア）は、その場合に、ソフトウェアモジュールを実行して、それぞれの機械学習システムの機能（例えば、ネットワーク１０７、エンコーダ１１１～１１４、学習コーチ１１０等）を実施することができる。

コンピュータプログラムは、半導体メモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュプログラマブルＲＡＭ）、磁気メモリデバイス（例えば、ディスケット又は固定ディスク）、光メモリデバイス（例えば、ＣＤ－ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、又は他のメモリデバイス等の有形の記憶媒体に任意の形式（例えば、ソースコード形式、コンピュータ実行可能形式、又は中間形式）で永続的又は一時的に固定することができる。コンピュータプログラムは、様々な通信技術のうちの任意のものを用いてコンピュータに送信可能である信号に任意の形式で固定することができる。これらの通信技術には、アナログ技術、デジタル技術、光技術、無線技術（例えば、Ｂｌｕｅｔｏｏｔｈ）、ネットワーキング技術、及びインターネットワーキング技術が含まれるが、これらに全く限定されるものではない。コンピュータプログラムは、添付の印刷文書又は電子文書を有するリムーバブル記憶媒体（例えば、パッケージ（shrink wrapped）ソフトウェア）として任意の形式で配布することもできるし、コンピュータシステム（例えば、システムＲＯＭ又は固定ディスク）にプリロードすることもできるし、サーバ又は電子掲示板から通信システム（例えば、インターネット又はワールドワイドウェブ）を介して配信することもできる。

本明細書において上述した機能の全て又は一部分を実施するハードウェアロジック（プログラマブルロジックデバイスとともに用いられるプログラマブルロジックを含む）は、従来の手動の方法を用いて設計することもできるし、コンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬ又はＡＨＤＬ）、又はＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、又はＣＵＰＬ）等の様々なツールを用いて電子的に設計、取り込み、シミュレーション、又は文書化することもできる。

プログラマブルロジックは、半導体メモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュプログラマブルＲＡＭ）、磁気メモリデバイス（例えば、ディスケット又は固定ディスク）、光メモリデバイス（例えば、ＣＤ－ＲＯＭ）、又は他のメモリデバイス等の有形の記憶媒体に永続的又は一時的のいずれかで固定することができる。プログラマブルロジックは、アナログ技術、デジタル技術、光技術、無線技術（例えば、Ｂｌｕｅｔｏｏｔｈ）、ネットワーキング技術、及びインターネットワーキング技術を含むが、これらに全く限定されない様々な通信技術のうちの任意のものを用いてコンピュータに伝送可能な信号に固定することができる。プログラマブルロジックは、添付の印刷文書又は電子文書を有するリムーバブル記憶媒体（例えば、パッケージソフトウェア）として配布することもできるし、コンピュータシステム（例えば、システムＲＯＭ又は固定ディスク）にプリロードすることもできるし、サーバ又は電子掲示板から通信システム（例えば、インターネット又はワールドワイドウェブ）を介して配信することもできる。

適切な処理モジュールの種々の例は、以下でより詳細に論述される。本明細書で使用するとき、モジュールは、特定のデータ処理タスク又はデータ伝送タスクを実施するのに適するソフトウェア、ハードウェア、又はファームウェアを指す。通常、好ましい実施形態において、モジュールは、命令、若しくは抵抗変化、電圧変化、電流変化、ガイドワイヤベースのプローブデータ、血管内圧力データ、比率、指数及び他の対象情報等の様々なタイプのデータを受信、変換、配信及び処理するのに適したソフトウェアルーチン、プログラム、又は他のメモリ常駐アプリケーションを指す。

本明細書に記載されるコンピュータ及びコンピュータシステムは、データを取得する、処理する、記憶する及び／又は通信するときに使用されるソフトウェアアプリケーションを記憶するためのメモリ等の、動作可能に連結されたコンピュータ可読媒体を含むことができる。そのようなメモリが、その動作可能に連結されたコンピュータ又はコンピュータシステムに関して、内部、外部、遠隔、又はローカルにあることができることを理解することができる。

メモリはまた、例えば、限定することなく、ハードディスク、光ディスク、フロッピーディスク、ＤＶＤ（デジタル多用途ディスク）、ＣＤ（コンパクトディスク）、メモリスティック、フラッシュメモリ、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）、ＰＲＯＭ（プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（拡張消去可能ＰＲＯＭ）、及び／又は他の同様なコンピュータ可読媒体を含む、ソフトウェア又は他の命令を記憶するための任意の手段を含むことができる。

概して、本明細書に記載される本開示の実施形態に関連して適用されるコンピュータ可読メモリ媒体は、プログラマブル装置によって実行される命令を記憶することが可能な任意のメモリ媒体を含むことができる。適用可能である場合、本明細書に記載される方法ステップは、単数又は複数のコンピュータ可読メモリ媒体上に記憶された命令として具現化又は実行することができる。これらの命令は、Ｃ＋＋、Ｃ、Ｊａｖａ等の種々のプログラミング言語及び／又は本開示の実施形態による命令を作成するために適用され得る種々の他の種類のソフトウェアプログラミング言語で具現化されたソフトウェアとすることができる。

記憶媒体は、非一時的である、又は、非一時的デバイスを含むことができる。したがって、非一時的記憶媒体又は非一時的デバイスは有形であるデバイスを含むことができ、これは、デバイスが、その物理的状態を変更する場合があるが、具体的な物理的形式を有することを意味する。こうして、例えば、非一時的は、この状態の変化があったとしてもデバイスが有形のままであることを指す。

本開示の態様、実施形態、特徴、及び例は、全ての点で例示的であると考えられ、本開示を限定することを意図するものではなく、その範囲は特許請求の範囲によってのみ規定される。他の実施形態、修正形態、及び使用法は、特許請求される開示の趣旨及び範囲から逸脱することなく、当業者には明らかであろう。

本出願における見出し及び段落の使用は、本開示を制限することを意味しない。各段落は、本開示の任意の態様、実施形態、又は特徴に適用することができる。語「する手段（means for）」を使用する特許請求項のみが、米国特許法１１２条６項の下で解釈されることを意図される。特許請求項において「する手段（means for）」の列挙が存在しない場合、そのような特許請求項は、米国特許法１１２条の下で解釈されるべきでない。本明細書からの制限は、そのような制限が特許請求の範囲に明示的に含まれない限り、いずれの特許請求項に読み込まれることも意図されない。

値又は値の範囲が与えられる場合、各値及び所与の範囲のエンドポイント及びその間の値は、何らかの異なる範囲が特に述べられない限り、本開示の教示内に依然として留まりながら、２０％だけ増加又は減少することができる。

本出願全体を通して、構成物が特定の構成要素を有する、含む、又は備えるものとして記載される場合、又は、プロセスが特定のプロセスステップを有する、含む、又は備えるものと記載される場合、本教示の構成物が、本質的に列挙される構成要素からなる又は列挙される構成要素からなること、及び、本教示のプロセスが、本質的に列挙されるプロセスステップからなる又は列挙されるプロセスステップからなることが企図される。

本出願において、要素又は構成要素が、列挙された要素又は構成要素のリストに含まれる及び／又はそのリストから選択されると言及される場合、その要素又は構成要素は、列挙される要素又は構成要素のいずれか１つとすることができ、そして、列挙される要素又は構成要素のうちの２つ以上からなる群から選択することができることが理解されるべきである。さらに、本明細書に記載される構成物、装置、又は方法の要素及び／又は特徴を、本明細書において明示的であろうと暗黙的であろうと、本教示の趣旨及び範囲から逸脱することなく種々の方法で組み合わせることができることが理解されるべきである。

用語「含む（include）」、「含む（includes）」、「含んでいる（including）」、「有する（have）」、「有する（has）」、又は「有している（having）」の使用は、別段の定めがない限り、一般にオープンエンドでかつ非限定的であると理解されるべきである。

本明細書での単数形の使用は、別段の定めがない限り、複数を含む（逆の場合も同様である）。さらに、別段に文脈が明確に指示しない限り、単数形「一（"a," "an"）」及び「その又は前記（the）」は、複数形を含む。さらに、用語「約（about）」の使用が定量値の前である場合に、本教示は、別段の定めがない限り、特定の定量値自体も含む。

ステップの順序又は或る特定の動作を実行するための順序が、本教示が使用可能なままである限り、重要でないことが理解されるべきである。さらに、２つ以上のステップ又は動作を、同時に行うことができる。

値の範囲又はリストが提供される場合、値のその範囲又はリストの上限と下限との間の介在する各値は、個々に企図され、各値が本明細書に具体的に列挙されているかのように本開示内に包含される。さらに、所与の範囲の上限と下限との間及びそれらを含むより小さい範囲が、企図され、本開示内に包含される。例示的な値又は範囲のリストは、所与の範囲の上限及び下限の間並びにそれらを含む他の値又は範囲を排除するものではない。

本開示の図及び説明が、明確化のために他の要素を削除しながら、本開示の明確な理解のために適切である要素を示すように簡略化されていることが理解される。当業者は、しかしながら、これら及び他の要素が望ましい場合があることを認識するであろう。しかしながら、そのような要素が当技術分野で既知であるため、また、それらの要素が本開示のより良い理解を促進しないため、そのような要素の論述は、本明細書において提供されない。図が、構造図としてではなく、例示のために提示されていることが理解されるべきである。省略された詳細及び修正形態又は代替的な実施形態は、当業者の知識の範囲内にある。

本開示の或る特定の態様において、要素又は構造を提供するため、又は単数若しくは複数の所与の機能を実施するために、単一の構成要素を複数の構成要素に置き換えることができ、また、複数の構成要素を単一の構成要素に置き換えることができることを、理解することができる。そのような置換が本開示の或る特定の実施形態を実施するために使用可能でない場合を除いて、そのような置換は、本開示の範囲内にあると考えられる。

本明細書に提示される例は、本開示の可能性のあるかつ具体的な実施態様を例示することを意図される。その例が、主に、当業者のために本開示の例示のために意図されることを理解することができる。本開示の趣旨から逸脱することなく、これらの図又は本明細書に記載される動作に対する変形が存在する場合がある。例えば、或る特定の場合には、方法ステップ又は動作を、異なる順序で実施若しくは実行することができるか、又は動作を、追加、削除、若しくは修正することができる。

Claims

極画像のフレームを含む画像データのセットを取得することと、
注釈が付けられた各領域又は各特徴がグラウンドトゥルース注釈となるように、前記画像データのセットの各極画像における１つ以上の関心領域又は関心特徴に注釈を付けることと、
注釈が付けられた極画像の前記セットを使用して機械学習システム（ＭＬＳ）のニューラルネットワークをトレーニングすることであって、各極画像における複数の領域のそれぞれはクラスによって特定されることと、
トレーニングされた前記ニューラルネットワークに極画像データを入力することと、
各色がクラスに対応する、色分けされた領域を含む予測出力画像を表示することと
を含んでなる、冠動脈を評価する方法。
各画像は、前記冠動脈に関する複数の画像データ要素を含む、請求項１に記載の方法。
前記注釈を付けることは、前記関心特徴を画定するピクセルのグループ又は２次元境界を選択するユーザ制御を含むグラフィカルユーザインタフェースを用いて行われる、請求項１に記載の方法。
前記ニューラルネットワークをトレーニングすることは、コスト関数の出力が閾値以下となるまで繰り返され、前記コスト関数は、ＭＬＳの予測出力をグラウンドトゥルース入力と比較する、請求項１に記載の方法。
各極画像の前記１つ以上の注釈が付けられた関心領域又は関心特徴をタイプ又はクラスとして分類することを更に含み、前記機械学習システムの前記ニューラルネットワークをトレーニングすることは、前記タイプ又は前記クラスによって注釈が付けられた各領域を分類することを更に含む、請求項１に記載の方法。
前記タイプ又は前記クラスは、内膜、中膜、外膜、管腔、ＥＥＬ、ＩＥＬ、プラーク、カルシウム、カルシウムプラークからなる群から選択される、請求項５に記載の方法。
前記タイプ又は前記クラスは、サイドブランチ、管腔、ガイドワイヤ、ステントストラット、ステント、ジェイルドステント、生体吸収性スキャフォールド（ＢＶＳ）、薬剤溶出性ステント（ＤＥＳ）、繊維質、ブルーミングアーティファクト、圧力ワイヤ、ガイドワイヤ、脂質、アテローム性プラーク、狭窄、カルシウム、石灰化プラーク、組織を含むカルシウム、病変、脂肪、マルアポーズステント、十分に膨らんでいないステント、過剰に膨らんだステント、放射線不透過マーカ、動脈樹の分岐角度、プローブの較正素子、ドープ膜、光散乱粒子、シース、ドープシース、基準位置合わせ点、直径尺度、径方向尺度、ガイドカテーテル、陰影領域、ガイドワイヤセグメント、長さ、及び厚さからなる群から選択される、請求項５に記載の方法。
各データ要素、各画像、及び各出力は、前記ＭＬＳと電子通信する機械可読メモリに記憶される、請求項１に記載の方法。
前記予測出力画像において、１つ以上の円弧ベースのメトリック、Ｃａ及びＥＥＬの双方の類似性の尺度、検出されたＥＥＬ直径、及び検出されたＣａ深さを特定することを更に含む、請求項１に記載の方法。
前記ニューラルネットワークは畳み込みニューラルネットワークであり、第１のノード又は層の入力チャネルの数は４つである、請求項１に記載の方法。
前記予測出力画像は、予測又は分類された特徴の境界を示す１つ以上のインディシアを含む、請求項１に記載の方法。
ライン投影を使用してカーペットビューを生成することと、前記カーペットビューをフィルタリングして前記予測出力画像内のノイズを削減することとを更に含む、請求項１に記載の方法。
前記ニューラルネットワークは等角ニューラルネットワークである、請求項１に記載の方法。
前記ＭＬＳはＡＩプロセッサを備え、前記ＡＩプロセッサは１つ以上の並列処理要素を備える、請求項１に記載の方法。
前記ＡＩプロセッサは、Ｎ個の並列処理要素を備え、専用ＡＩプロセッサメモリを更に備える、請求項１４に記載の方法。
前記ＡＩプロセッサはグラフィック処理ユニットである、請求項１４に記載の方法。
前記並列処理要素は、ＣＵＤＡコアプロセッサ、テンソルコアプロセッサ、及びストリームプロセッサからなる群から選択される、請求項１４に記載の方法。
前記専用ＡＩプロセッサメモリは、８ＧＢ～６４ＧＢの範囲である、請求項１５に記載の方法。
前記専用ＡＩプロセッサメモリは、６４ＧＢ～１２８ＧＢの範囲である、請求項１５に記載の方法。
ユーザ画像データを分類するときのＭＬＳの処理時間を、前記ニューラルネットワークに入力する前に該画像データを平坦化することによって削減することを更に含む、請求項１に記載の方法。
ユーザ画像データを分類するときのＭＬＳの処理時間を、前記ニューラルネットワークに入力する前に画像の領域をサイズ変更又は除外することによって削減することを更に含む、請求項１に記載の方法。
前記極画像のうちの１つ以上に対して循環シフトを１回、２回、又は３回実行することによってトレーニングデータを拡張することを更に含む、請求項１に記載の方法。
前記極画像のうちの１つ以上に対して左右フリップを実行することを更に含む、請求項１に記載の方法。
患者の極画像データを前記ニューラルネットワークに入力する前に、患者の極画像からスキャンラインのサブセットを除去することを更に含む、請求項１に記載の方法。
画像処理方法又は機械学習方法を使用して管腔検出を行い、検出された管腔境界データのセットを生成することを更に含む、請求項１に記載の方法。
トレーニングされたニューラルネットワークを使用する代わりに、ＯＣＴプルバックの間に取得される画像フレームのセットの処理レートを高める画像処理パイプラインを使用して、サイドブランチ検出、ガイドワイヤ検出、及びステント検出のうちの１つ以上を行うことを更に含む、請求項１に記載の方法。
前記検出された管腔境界データの入力は、患者の極画像データにおける関心領域及び関心特徴を分類する待ち時間を削減する、請求項２５に記載の方法。
患者画像において特定された各関心領域又は各関心特徴について１つ以上の画像マスクを生成することを更に含む、請求項１に記載の方法。
患者データをトレーニング又は処理するための各入力画像は、複数のバージョンに変換され、該複数のバージョンは、左右フリップ及び円形シフトによって生成される、請求項１に記載の方法。
ハウジングと、
Ｘ線画像データ及び血管内画像データのうちの１つ以上を受信するフレームグラバと、
電源装置と、
前記電源装置と電気通信する１つ以上の電子メモリ記憶デバイスと、
プロセッサ上で実行可能であり、前記１つ以上の電子メモリ記憶デバイスに記憶される１つ以上の画像処理ソフトウェアモジュールと、
第１のプロセッサを備えるコンピューティングデバイスであって、前記電源装置及び前記第１のプロセッサと電子通信するコンピューティングデバイスと、
前記１つ以上の電子メモリ記憶デバイスに記憶される１つ以上のソフトウェアプログラムと、
１つ以上の機械学習ソフトウェアモジュールを含むニューラルネットワークを備える機械学習システム（ＭＬＳ）であって、前記ニューラルネットワークは極画像のグラウンドトゥルース注釈を使用してトレーニングされ、前記グラウンドトゥルース注釈はカルシウム及び中膜を含む、機械学習システムと、
１つ以上のＡＩプロセッサであって、前記１つ以上の機械学習ソフトウェアモジュールは、該１つ以上のＡＩプロセッサ上で実行可能であり、該１つ以上のＡＩプロセッサは専用メモリを備える、１つ以上のＡＩプロセッサと、
前記第１のプロセッサとの間で画像データを送信及び受信するインタフェースと
を備えてなり、
前記機械学習システムは前記電源装置と電子通信し、前記機械学習システム、前記コンピューティングデバイス、及び前記１つ以上の電子メモリ記憶デバイスは、前記ハウジング内に配置され、前記トレーニングされたニューラルネットワークは、実質的にリアルタイムで前記画像データを分類するように動作可能である、血管内撮像及び組織特徴付けシステム。
前記ハウジングは、光コヒーレンス断層撮影撮像システム又は血管内超音波撮像システムのハウジングであり、前記実質的にリアルタイムは１０秒未満である、請求項３０に記載のシステム。
前記１つ以上の画像処理ソフトウェアモジュールは、極血管内画像をデカルト画像に変換するソフトウェアと、デカルト血管内画像を極画像に変換するソフトウェアと、エンドユーザに表示されるときに関心領域又は関心特徴にラベル付けする組織分類オーバレイソフトウェアと、管腔検出ソフトウェアモジュールと、画像平坦化前処理ソフトウェアモジュールと、画像サイズ変更ソフトウェアモジュールと、グラウンドトゥルースデータを用いてトレーニング画像にラベル付け又はマーキングするＧＵＩを有する画像注釈ソフトウェアと、前処理ソフトウェアモジュールと、円形シフトソフトウェアモジュールとのうちの１つ以上を含む、請求項３０に記載のシステム。
前記１つ以上の機械学習ソフトウェアモジュールは、ニューラルネットワークインタフェースと、管腔輪郭予測と、サイドブランチ予測と、画像サイズ変更モジュールと、ユーザインタフェース及び入力処理ソフトウェアモジュールと、前記ニューラルネットワークのパラメータを制御及び設定するＭＬＳインタフェースソフトウェアモジュールと、ＭＬＳメモリマネージャソフトウェアと、前処理ソフトウェアモジュールと、ステントストラット予測ソフトウェアモジュールと、ジェイルドステント予測ソフトウェアモジュールと、ガイドワイヤ予測ソフトウェアモジュールと、撮像システムとデータを交換するインタフェースモジュールとのうちの１つ以上を含む、請求項３０に記載のシステム。