JP2022536731A - 画像処理のための深層学習モデル - Google Patents

Abstract

画像データを処理するための深層学習モデルを生成するためのシステム、方法、及びコンピュータプログラム製品が提供される。本方法は、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；及び入力を畳み込むことによりＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む。

Description

関連出願の相互参照
本出願は、その開示の全体を参照により本明細書に援用する、２０１９年６月１２日出願の米国仮特許出願第６２／８６０，３９２号からの優先権を主張する。

本開示は、一般的には深層学習に、及び非限定的実施形態では画像処理のための深層学習モデルに関する。

光コヒーレンストモグラフィ（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）は、マイクロメートル分解能でもって角膜構造、角膜縁構造及び網膜構造を視覚化するために部分的に使用される画像診断法である。ＯＣＴは、角膜曲率及び屈折力などの角膜生体測定パラメータを推定するために使用され得、及び、白内障手術、レーシック手術（ＬＡＳＩＫ）及び深部層状角膜移植手術（ＤＡＬＫ：Ｄｅｅｐ Ａｎｔｅｒｉｏｒ Ｌａｍｅｌｌａｒ Ｋｅｒａｔｏｐｌａｓｔｙ）などの外科処置において使用される外科用顕微鏡内に取り込まれてきた。角膜の精確な再構築、及び臨床使用のためのこれらのパラメータの推定は、角膜組織界面の精密な描写を必要とし、したがってそれらの手術計画により外科医を助ける。既存画像解析ベース角膜界面分割手法は様々なＯＣＴスキャナから取得されたボリュームに対して一般化されない。むしろ、このような既存手法は、主要パラメータが手動で選択される、その場しのぎのものである。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのコンピュータ実施方法であって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法が提供される。

非限定的実施形態又は態様では、前記方法は、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理することをさらに含む。非限定的実施形態又は態様では、前記ＯＣＴ角膜画像を処理することは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割することをさらに含む。非限定的実施形態又は態様では、前記少なくとも３つの角膜界面は上皮、Ｂｏｗｍａｎ層及び内皮を含む。非限定的実施形態又は態様では、前記方法は、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割することをさらに含む。非限定的実施形態又は態様では、前記ＣＮＮを使用することにより超音波画像を処理することをさらに含む。非限定的実施形態又は態様では、前記方法は、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングすることをさらに含む。非限定的実施形態又は態様では、前記方法は、前記入力を畳み込むことは前記入力の３×３画素畳み込み又は異なるサイズの畳み込みを計算することを含む。非限定的実施形態又は態様では、前記密接続は少なくとも６層の深さである。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのシステムであって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層
の各層間の密接続を確立し；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングし；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするようにプログラムされるか又は構成された、少なくとも１つのプロセッサを含む、システムが提供される。

非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記少なくとも３つの角膜界面は、上皮、Ｂｏｗｍａｎ層及び内皮を含む。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより超音波画像を処理するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングするようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記入力を畳み込むことは、前記入力の３×３畳み込みを計算することを含む。非限定的実施形態又は態様では、前記密接続は複数層の深さである。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、角膜輪部、角膜又はそれらの組み合わせのうちの少なくとも１つの光コヒーレンストモグラフィ（ＯＣＴ）画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、走査レーザ検眼鏡（ＳＬＯ）画像、光コヒーレンストモグラフィ（ＯＣＴ）画像、超音波画像、カメラ画像、明視野像、任意の次元及びデータタイプの任意の他のタイプの画像、又はそれらの任意の組み合わせのうちの少なくとも２つを含む複数の異なる撮像システムからの画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのコンピュータプログラム製品であって、プログラム命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記プログラム命令は、少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立させ；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングさせ；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングさせる、コンピュータプログラム製品が提供される。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するための、コンピュータ実施方法であって、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立すること；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；並びに前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法が提供される。

非限定的実施形態又は態様では、前記密接続は、前記第１の分岐内のノード間及び前記
第２の分岐内のノード間で確立される。非限定的実施形態又は態様では、各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む。非限定的実施形態又は態様では、各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む。非限定的実施形態又は態様では、各アップサンプリング層の前記入力をアップサンプリングことは、最近傍補間を計算することを含む。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのシステムであって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立し；前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立し；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングし；並びに前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするように構成されたコンピュータ装置を含む、システムが提供される。

非限定的実施形態又は態様では、前記密接続は、前記第１の分岐内のノード間及び前記第２の分岐内のノード間に確立される。非限定的実施形態又は態様では、各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む。非限定的実施形態又は態様では、各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む。非限定的実施形態又は態様では、各アップサンプリング層の前記入力をアップサンプリングすることは、最近傍補間を計算することを含む。非限定的実施形態又は態様では、前記コンピュータ装置は、前記ＣＮＮの複数の層及び前記ＣＮＮの複数の先行層の各層のビルディングブロック内に、拡張された畳み込みを確立するようにさらにプログラムされるか又は構成される。非限定的実施形態又は態様では、前記コンピュータ装置は、様々な拡張ストライドに基づき、前記ＣＮＮのブロック内に一組の拡張及び／又は非拡張畳み込みを確立するようにさらにプログラムされるか又は構成され、前記畳み込みは固定された重み付け及び／又は学習可能重み付けに基づく。非限定的実施形態又は態様では、前記コンピュータ装置は周囲画像コンテンツの追加空間的コンテキストを収集するようにさらにプログラムされるか又は構成され、前記周囲画像コンテンツは周囲組織構造又は任意の他の要素を含む。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するコンピュータ実施方法が提供され、本方法は、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層とＣＮＮ内の複数の先行層との間の密接続を確立すること；入力の最大プールを計算することにより、ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングすること；並びに最近傍補間を計算し及び入力を畳み込むことにより、ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングすることを含む。

非限定的実施形態又は態様では、前記方法は、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理することをさらに含む。非限定的実施形態又は態様では、前記方法は、前記ＯＣＴ角膜画像を処理することは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割することをさらに含む。非限定的実施形態又は態様では、前記少なくとも３つの角膜界面は上皮、Ｂｏｗｍａｎ層及び内皮を含む。非限定的実施形態又は態様では、前記方法は、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割することをさらに含む。非限定的実施形態又は態様では、前記方法は、前記ＣＮＮを使用することにより超音波画像を処理することをさらに含む。非限定的実施形態又は態様では、前記方法は、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングすることをさらに含む。非限定的実施形態又は態
様では、前記入力を畳み込むことは前記入力の３×３画素畳み込み又は異なるサイズの畳み込みを計算することを含む。非限定的実施形態又は態様では、前記密接続は少なくとも６層の深さである。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのシステムが提供され、本システムは、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層とＣＮＮ内の複数の先行層との間の密接続を確立し；入力の最大プールを計算することにより、ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングし；並びに最近傍補間を計算し及び入力を畳み込むことにより、ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするようにプログラムされるか又は構成された、少なくとも１つのプロセッサを含む。

非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理することをさらに含む。非限定的実施形態又は態様では、前記ＯＣＴ角膜画像を処理することは、前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割することをさらに含む。非限定的実施形態又は態様では、前記少なくとも３つの角膜界面は上皮、Ｂｏｗｍａｎ層及び内皮を含む。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割することをさらに含む。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより超音波画像を処理することをさらに含む。非限定的実施形態又は態様では、前記少なくとも１つのプロセッサは、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングすることをさらに含む。非限定的実施形態又は態様では、前記入力を畳み込むことは前記入力の３×３画素畳み込み又は異なるサイズの畳み込みを計算することを含む。非限定的実施形態又は態様では、前記密接続は少なくとも６層の深さである。

非限定的実施形態又は態様によると、画像データを処理するための深層学習モデルを生成するためのコンピュータプログラム製品であって、プログラム命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含む、コンピュータプログラム製品が提供され、プログラム命令は、少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層とＣＮＮの複数の先行層との間の密接続を確立させ；入力の最大プールを計算することにより、ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングさせ；並びに最近傍補間を計算し及び入力を畳み込むことにより、ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングさせる。

別の非限定的実施形態又は態様は、以下の番号付き条項に記載される：

条項１：画像データを処理するための深層学習モデルを生成するためのコンピュータ実施方法であって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法。

条項２：前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理することをさらに含む、条項１に記載のコンピュータ実施方法。

条項３：前記ＯＣＴ角膜画像を処理することは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割することをさらに含む、条項２に記載のコンピュータ実施方法。

条項４：前記少なくとも３つの角膜界面は上皮、Ｂｏｗｍａｎ層及び内皮を含む、条項３に記載のコンピュータ実施方法。

条項５：前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割することをさらに含む、条項２に記載のコンピュータ実施方法。

条項６：前記ＣＮＮを使用することにより超音波画像を処理することをさらに含む、条項１に記載のコンピュータ実施方法。

条項７：複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングすることをさらに含む、条項２に記載のコンピュータ実施方法。

条項８：前記入力を畳み込むことは前記入力の３×３画素畳み込み又は異なるサイズの畳み込みを計算することを含む、条項１に記載のコンピュータ実施方法。

条項９：前記密接続は少なくとも６層の深さである、条項１に記載のコンピュータ実施方法。

条項１０：角膜輪部、角膜又はそれらの組み合わせのうちの少なくとも１つの光コヒーレンストモグラフィ（ＯＣＴ）画像を、前記ＣＮＮを使用することにより処理することをさらに含む、条項１に記載のコンピュータ実施方法。

条項１１：走査レーザ検眼鏡（ＳＬＯ）画像、光コヒーレンストモグラフィ（ＯＣＴ）画像、超音波画像、カメラ画像、明視野像、任意の次元及びデータタイプの任意の他のタイプの画像、又はそれらの任意の組み合わせのうちの少なくとも２つを含む複数の異なる撮像システムからの画像を、前記ＣＮＮを使用することにより処理することをさらに含む、条項１に記載のコンピュータ実施方法。

条項１２：画像データを処理するための深層学習モデルを生成するためのシステムであって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層間の密接続を確立し；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングし；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするようにプログラムされるか又は構成された、少なくとも１つのプロセッサを含む、システム。

条項１３：前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理するようにさらにプログラムされるか又は構成される、条項１２に記載のシステム。

条項１４：前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割するようにさらにプログラムされるか又は構成される、条項１３に記載のシステム。

条項１５：前記少なくとも３つの角膜界面は、上皮、Ｂｏｗｍａｎ層及び内皮を含む、条項１４に記載のシステム。

条項１６：前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ画像の後部角膜組織界面を分割するようにさらにプログラムされるか又は構成される、条項１３に記載のシステム。

条項１７：前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより超音波画像を処理するようにさらにプログラムされるか又は構成される、条項１２に記載のシステム。

条項１８：前記少なくとも１つのプロセッサは、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングするようにさらにプログラムされるか又は構成される、条項１３に記載のシステム。

条項１９：前記入力を畳み込むことは、前記入力の３×３畳み込みを計算することを含む、条項１２に記載のシステム。

条項２０：前記密接続は複数層の深さである、条項１２に記載のシステム。

条項２１：前記少なくとも１つのプロセッサは、角膜輪部、角膜又はそれらの組み合わせのうちの少なくとも１つの光コヒーレンストモグラフィ（ＯＣＴ）画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される、条項１２に記載のシステム。

条項２２：前記少なくとも１つのプロセッサは、走査レーザ検眼鏡（ＳＬＯ）画像、光コヒーレンストモグラフィ（ＯＣＴ）画像、超音波画像、カメラ画像、明視野像、任意の次元及びデータタイプの任意の他のタイプの画像、又はそれらの任意の組み合わせのうちの少なくとも２つを含む複数の異なる撮像システムからの画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される、条項１２に記載のシステム。

条項２３：画像データを処理するための深層学習モデルを生成するためのコンピュータプログラム製品であって、プログラム命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記プログラム命令は、少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立させ；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングさせ；及び畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングさせる、コンピュータプログラム製品。

条項２４：画像データを処理するための深層学習モデルを生成するための、コンピュータ実施方法であって、畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立すること；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；並びに前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法。

条項２５：前記密接続は、前記第１の分岐内のノード間及び前記第２の分岐内のノード
間で確立される、条項２４に記載のコンピュータ実施方法。

条項２６：各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む、条項２４に記載のコンピュータ実施方法。

条項２７：各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む、条項２４に記載のコンピュータ実施方法。

条項２８：各アップサンプリング層の前記入力をアップサンプリングすることは、最近傍補間を計算することを含む、条項２４に記載のコンピュータ実施方法。

条項２９：前記ＣＮＮの複数の層及び前記ＣＮＮの複数の先行層の各層のビルディングブロック内に、拡張された畳み込みを確立することをさらに含む、条項２４に記載のコンピュータ実施方法。

条項３０：異なる拡張ストライドに基づき、前記ＣＮＮのブロック内に一組の拡張及び／又は非拡張畳み込みを確立することをさらに含む、条項２４に記載のコンピュータ実施方法であって、前記畳み込みは固定された重み付け及び／又は学習可能重み付けに基づく、方法。

条項３１：周囲画像コンテンツの追加空間的コンテキストを収集することをさらに含む、条項３０に記載のコンピュータ実施方法であって、前記周囲画像コンテンツは周囲組織構造又は任意の他の要素を含む、方法。

条項３２：画像データを処理するための深層学習モデルを生成するためのシステムであって、畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立し；前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立し；前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングし；並びに前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするように構成されたコンピュータ装置を含む、システム。

条項３３：前記密接続は、前記第１の分岐内のノード間及び前記第２の分岐内のノード間に確立される、条項３２に記載のシステム。

条項３４：各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む、条項３２に記載のシステム。

条項３５：各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む、条項３２に記載のシステム。

条項３６：各アップサンプリング層の前記入力をアップサンプリングすることは、最近傍補間を計算することを含む、条項３２に記載のシステム。

条項３７：前記コンピュータ装置は、前記ＣＮＮの複数の層及び前記ＣＮＮの複数の先行層の各層のビルディングブロック内に、拡張された畳み込みを確立するようにさらにプログラムされるか又は構成される、条項３２に記載のシステム。

条項３８：前記コンピュータ装置は、様々な拡張ストライドに基づき、前記ＣＮＮのブ
ロック内に一組の拡張及び／又は非拡張畳み込みを確立するようにさらにプログラムされるか又は構成され、前記畳み込みは固定された重み付け及び／又は学習可能重み付けに基づく、条項３２に記載のシステム。

条項３９：前記コンピュータ装置は周囲画像コンテンツの追加空間的コンテキストを収集するようにさらにプログラムされるか又は構成された、条項３８に記載のシステムであって、前記周囲画像コンテンツは周囲組織構造又は任意の他の要素を含む、システム。

本開示のこれら及び他の機構と特徴だけでなく、構造の関連要素の動作の方法と機能、部品の組み合わせ、及び製造の経済性は、それらのすべてが本明細書の一部をなす添付図面を参照した以下の説明と、添付の特許請求の範囲の考察から、より明白になる。ここでは、同様な参照符号は様々な図の対応部品を示す。しかし、添付図面は例示と説明のためだけのものであり、本発明の限界の定義として意図されていないということが明確に理解されるべきである。

追加利点及び詳細は、添付図面及び付録に示される非限定的且つ例示的実施形態を参照して、以下においてさらに詳細に説明される。
非限定的実施形態による画像データを処理するためのシステムを示す。 非限定的実施形態による深層学習ネットワークを示す。 非限定的実施形態による深層学習ネットワークの一部を示す。 非限定的実施形態による画像データを処理する方法の流れ図である。 非限定的実施形態による画像データを処理するための深層学習モデルを生成する方法の流れ図である。 非限定的実施形態及び他の深層学習アーキテクチャによる実装形態の結果を比較する試験データを示す。 非限定的実施形態及び他の深層学習アーキテクチャによる実施形態の結果を比較する試験データを示す。 非限定的実施形態との関連で使用されるコンピュータ装置の例示的部品を示す。

実施形態は、それとは反対に明示的に規定される場合を除いて、様々な代替変形及び工程順番を採り得るということが理解されるべきである。以下の明細書において説明される特定装置及び処理は本開示の単に例示的実施形態又は態様であるということも理解されるべきである。したがって、本明細書に開示される実施形態又は態様に関係する、特定の寸法及び他の物理的特性は、限定と見做されるべきではない。本明細書において使用されるいかなる態様、部品、要素、構造、行為、工程、機能、命令等々も、そのように明示的に記載されない限り、クリティカル又は必須であると見做されるべきでない。また、本明細書で使用されるように、冠詞「ａ」及び「ａｎ」は、１つ又は複数のアイテムを含むように意図されており、及び「１つ又は複数の」及び「少なくとも１つの」と交換可能に使用され得る。また、本明細書で使用されるように、「有する（ｈａｓ）」「有する（ｈａｖｅ）」「有する（ｈａｖｉｎｇ）」などの用語は、開放型用語であるように意図されている。さらに、「に基づく」という語句は、別途明記されない限り「に少なくとも部分的に基づく」を意味するように意図されている。

本明細書で使用されるように、「コンピュータ装置」という用語は、データを処理するように構成された１つ又は複数の電子装置を指し得る。コンピュータ装置は、いくつかの例では、データを受信、処理、出力するためのプロセッサ、ディスプレイ、メモリ、入力装置、ネットワークインターフェースなどの必須部品を含み得る。コンピュータ装置はモ
バイル装置であり得る。コンピュータ装置はまた、デスクトップコンピュータ又は他の形式の非モバイルコンピュータであり得る。非限定的実施形態では、コンピュータ装置は、Ａｐｐｌｅの「Ｎｅｕｒａｌ Ｅｎｇｉｎｅ」又はＧｏｏｇｌｅのＴｅｎｓｏｒＦｌｏｗ処理ユニットなどの、特定用途向け集積回路（ＡＳＩＣ）ニューラルエンジンを含むＡＩアクセラレータを含み得る。非限定的実施形態では、コンピュータ装置は、各回路がニューラルネットワーク内の各ノードからの入力を重み付けするように構成されるようにニューラルネットワーク内の各接続を表す複数の個々の回路で構成され得る。このような配置では、論理ゲート及び／又はアナログ回路構成が、ソフトウェア、プロセッサ又はメモリを必要とすることなく使用され得る。

本開示の非限定的実施形態は、１つ又は複数のコンピュータ装置を使用することにより画像を処理するための深層学習ネットワーク（本明細書において説明される無数の技術的利点を提供する、独自且つ斬新な深層学習ネットワークアーキテクチャを含む）へ向けられる。本明細書において説明される例の多くはＯＣＴ画像の処理に関係するが、本明細書において説明されるシステム及び方法は任意のタイプの入力データを処理するために使用され得る、ということが理解される。一例として、非限定的実施形態はまた、超音波画像及び他の医用画像を処理するために使用され得る。様々な非医学的使用も可能である。

角膜画像を分割するための既存システムは、ＵＮＥＴ及びＢＲＵＮＥＴアーキテクチャなどのＣＮＮを適用する。これらのネットワークは、各画素に分類（例えば、組織のタイプ）が割り当てられる密出力を生成する、収縮分岐及び伸張分岐を含む。ＢＲＵＮＥＴアーキテクチャは画像分類のためのＵＮＥＴアーキテクチャの精度を改善するが、このような深層学習ネットワークは、角膜ＯＣＴ画像の様々な解析に関して十分に精確ではない。例えば、前部分割ＯＣＴ撮像において、セグメント間の境界は、スペックル雑音により破損され、したがって低信号対雑音比（ＳＮＲ）を有し得る。さらに、このような手法は、これらの境界に関係する識別可能特徴が先行層において学習されるが、残差接続により回復され得ないようにネットワーク全体にわたって失われることに部分的に起因して、偽陽性を生じる。

非限定的実施形態は、（１）上皮、（２）Ｂｏｗｍａｎ層、及び（３）内皮を含む角膜境界を分割するために使用される、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アーキテクチャを提供する。角膜境界は様々な異なるタイプのＯＣＴスキャナに由来するＯＣＴ画像から分割され得、ＣＮＮは、異なるタイプのＯＣＴスキャナに由来するＯＣＴ画像を使用することにより、同様にトレーニングされ得る。

ここで図１を参照すると、非限定的実施形態による、画像データを処理するための深層学習モデルを生成するためのシステム１０００が示される。システム１０００は、１つ又は複数のＯＣＴ画像１０４を出力する１つ又は複数のＯＣＴスキャナなどのＯＣＴシステム１０２を含む。本明細書において説明される深層学習ネットワーク（例えば角膜界面分割ネットワーク（ＣｏｒＮｅｔ（Ｃｏｒｎｅａｌ Ｉｎｔｅｒｆａｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｎｅｔｗｏｒｋ）システム））を実現するコンピュータ装置１０６は、ＯＣＴ画像１０４を受信し、及びその中に表された角膜界面を分割するために画像を処理する。入力されたＯＣＴ画像１０４は、一例として２５６×１０２４画素の次元の一組のスライスへ幅方向に分割され得るが、画像１０４は様々なやり方及び次元で処理され得る、ということが理解される。深層学習ネットワークを実現するコンピュータ装置１０６は、第１のコンピュータ装置が１つ又は複数の工程を行い、及び第２のコンピュータ装置が１つ又は複数の工程を行い得るように、１つ又は複数のコンピュータ装置を任意の位置に含み得る。

図１を引き続き参照すると、コンピュータ装置１０６は、異なるＯＣＴシステムにより行われた以前のＯＣＴ走査からＯＣＴデータ１０８（例えば歴史的画像データ）と通信状態にある。ＯＣＴデータ１０８は、任意の位置の１つ又は複数のデータストレージ装置上に格納され得、及びまた、他のＯＣＴシステムにより取得された走査に加えてＯＣＴシステム１０２からのＯＣＴ走査も含み得る（図１に示さず）。例えば、ＯＣＴデータ１０８は、他のＯＣＴ走査システムにより捕捉されたＯＣＴ走査からのデータセット（ＯＣＴシステム１０２とは異なる設定及び／又はパラメータを有する）を含み得る。コンピュータ装置１０６により実現される深層学習ネットワークは、ＯＣＴデータ１０８から角膜界面を分割するようにトレーニングされる。トレーニングされると、深層学習ネットワークは、様々な角膜界面がどこにあるかの予測を出力する。次に、コンピュータ装置１０６は、角膜界面を視覚的に区別する出力ＯＣＴ画像１１０を生成するために１つ又は複数の曲線を入力ＯＣＴ画像１０４内の予測角膜界面位置へフィッティングすることにより、角膜界面を分割し得る。例えば、出力されたＯＣＴ画像１１０は、様々な角膜界面を視覚的に表示するための、１つ又は複数の注釈又は修正（線、ハイライト、着色領域など）を含み得る。出力されたＯＣＴ画像１１０は、入力されたＯＣＴ画像１０４内に各画素又は一組の画素のラベルを追加的に又はそうでなければ代替的に含み得る。一例として、入力されたＯＣＴ画像１０４は、このような注釈によりオーバーレイされてもよいし、分割された角膜界面だけを表示するために編集されてもよい。

いくつかの例では、フルサイズＯＣＴ画像は、ネットワークを画像サイズに基づきトレーニングする際に、及び異なるＯＣＴスキャナとは異なる分解能に起因して、計算的非効率性を提示し得る。したがって、いくつかの非限定的実施形態では、入力画像は、ＯＣＴ分解能を維持するために、設定次元（例えば２５６×１０２４画素）の一組の画像へ幅方向にスライスされ得る。データは、一例として水平方向反転、ガンマ調整、ガウス雑音追加、ガウスぶれ、中央ぶれ、双方向ぶれ、クロッピング、アフィン変換、及び／又は弾性変形を介し増補され得る。

図１を引き続き参照すると、非限定的実施形態では、コンピュータ装置１０６により実現される深層学習ネットワークは、各画素を分類することにより所与のＯＣＴ画像を分割するように構成される。所与のＯＣＴ画像に関して、ｌ内のあらゆる画素をラベルＬ∈｛０，１，２，３｝へマッピングする関数Ｆ：ｌ－＞Ｌが識別される。この例では、値「０」は画像の背景を表し、及び値「１」、「２」及び「３」は上皮界面、Ｂｏｗｍａｎ層及び内皮界面に関連付けられたラベルである。様々な他のラベル及びラベルの表現が各画素を分類するために使用され得るということが理解される。さらに、画像の各画素はいくつかの非限定的実施形態では分類され得るが、他の非限定的実施形態では、２つ以上の画素が一緒に分類され得る。

ここで図２を参照すると、非限定的実施形態による深層学習ネットワーク２００（例えば深層学習モデル）が示される。深層学習ネットワーク２００は、収縮分岐２０２及び伸張分岐２０４の両方において密接続の使用により粗画像詳細及び密画像詳細の両方を組み合わせることが可能にされる。このような密接続では、各ブロック、層又はレベル（例えばレベル１～６）は、特徴マップ連結（円「Ｃ」として描写される）によりその先行ブロック／層／レベルのすべてへ接続され、これにより、ぼやけた境界の識別可能特徴が複数のスケール全体にわたり検索されることを可能にする。非限定的実施形態では、密接続された層の数は計算効率を達成するために制限される。一例として、及び図２に示すように、深層学習ネットワーク２００は、精度（例えばより多くの層からの）と計算効率（例えばより少ない層からの）とのバランスとして密接続の６層（例えばレベル１～６）を含み得る。さらに、非限定的実施形態では、深層学習ネットワーク２００は、ストライド技術の平均プーリング及び畳み込みと比較して、ネットワーク層を介した当該の特徴を維持することを改善するために、最大プーリング技術を利用し得る。いくつかの非限定的実施形
態では、深層学習ネットワーク２００は、３×３畳み込みが続く最近傍補間ベースアップサンプリング技術を利用し得、最近傍補間ベースアップサンプリング技術は、双線形補間ベースアップサンプリング、３×３畳み込みによる双線形補間、アンプーリング、及び転置畳み込み（ｆｒａｃｔｉｏｎａｌｌｙ－ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）よりも良い結果を提供する。

図２を引き続き参照すると、深層学習ネットワーク２００は収縮分岐２０２及び伸張分岐２０４を含む。収縮分岐２０２のブロックはダウンサンプリング計算を表し、伸張分岐２０４のブロックはアップサンプリング計算を表す。ネットワークは次元の一組のスライスの各スライスの出力を予測し、スライスは元の入力次元を再生成するようにアライメントされる。非限定的実施形態では、ブロック２３０は、アップサンプリングを行わないが、ネットワークのボトルネックとして機能し、及び出力特徴マップと同じ次元の特徴マップを前の層（例えば収縮分岐２０２内のブロック２１８）から生成するように構成される。ネットワーク２００内に示される各ブロック２１０～２３０に関連付けられた値（例えば３２、６４、９６、１６０、２５６、４１６）は各ブロックにより出力される特徴マップの数を表す。両分岐２０２、２０４内の層と層との特徴マップ数の差は、値のフィボナッチ数列に基づく特徴マップ成長率を示す。

図３を参照すると、非限定的実施形態による図２に示す深層学習ネットワーク２００の一部がさらに詳細に示される。深層学習ネットワーク２００のブロック３０２では、ブロック３０２の値は図示のように前の層に基づき計算される。ブロック３０２は入力３０８及び／又は出力３１０から除去されたいくつかの層であり得るが、ネットワーク２００の入力３０８及び出力３１０が図３に示される。「Ｃ」は深層学習ネットワーク２００内の畳み込みを指し、「Ｄ」は拡張畳み込みを指し、及び「Ｎ」の値は特徴マップの数に等しい。「ＢＮ」はバッチ正規化関数を指す。正規化線形活性化ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｕｎｉｔ）は非線形活性化関数としてＢＮに続く。拡張畳み込みは、オブジェクト又は組織境界を正確に分割するために、より広い周囲画像コンテンツ（ＯＣＴ画像内の周囲組織構造など）に関する文脈情報を収集する。一例として、拡張畳み込みは、組織界面境界のコントラストが劣悪である領域において以前の方法より良好に行うために隙間を「埋め」得る。

図３において、ブロック３０２のダウンサンプリング出力３０４（例えば深層学習ネットワークの収縮分岐内のブロック３０２の出力）が、ｍａｘｐｏｏｌｉｎｇ関数と共に示される。ｍａｘｐｏｏｌｉｎｇ関数は、各ダウンサンプリング層の終わりにおける最も識別可能な特徴を判断するために使用される。ｍａｘｐｏｏｌｉｎｇの使用は、共通ダウンサンプリング選択全体にわたり特徴選択を最適化する。ブロック３０２のアップサンプリング出力３０６（例えば深層学習ネットワークの伸張分岐内のブロック３０２の出力）が補間関数と共に示される。補間関数（最近傍補間であり得る）は、深層学習ネットワークの伸張分岐内の特徴マップをアップサンプリングするために、畳み込み（例えばこの例における３×３畳み込み）と共に使用され得る。

図２と図３に示すように、非限定的実施形態では、斬新ニューラルネットワークアーキテクチャは、ＲＥＳＮＥＴ（例えば、残差ニューラルネットワーク）アーキテクチャ、ＵＮＥＴアーキテクチャ及びＤｅｎｓｅ－ＮＥＴアーキテクチャの利点を有する画像処理タスクのために採用される。さらに、非限定的実施形態では、拡張畳み込みが、前述のＵＮＥＴ、ＲＥＳＮＥＴ及びＤｅｎｓｅ－ＮＥＴアーキテクチャの態様と組み合わせられる。

図２に示す非限定的例及び図３のブロック３０２を参照すると、残差接続及密接続の両方が図２の左側の一組の個々の太線矢印２３２（及び右側の同様な一組の太線矢印）内に含まれる。残差接続は、層又はブロックの入力をその出力へ直接接続する太線矢印内に存
在する。密接続は特徴連結から生じる。例えば、連結された一組の太線矢印２３２は、ブロック２１０の入力から２１２、２１４、２１６、２１８及び２３０のそれぞれの入力への密接続を表す細鎖曲線矢印２３６のそれぞれを含む。他のペアのブロック間の多くの他の密接続がまた、各ブロックをその前の一つおきのブロックへ接続する矢印２３２内に存在する（例えば、いずれも明瞭性のために図２に示されないブロック２１２からブロック２１４、２１６、２１８のそれぞれのブロックへの接続、ブロック２１４からブロック２１６、２１８のそれぞれのブロックへの接続、ブロック２２８からブロック２２６、２２４、２２２、２２０のそれぞれのブロックへの接続、ブロック２２６からブロック２２４、２２２、２２０のそれぞれのブロックへの接続、ブロック２２４からブロック２２２、２２０のそれぞれのブロックへの接続など）。図２を参照すると、深層学習ネットワーク２００はまた、ダウンサンプリング分岐２０２及びアップサンプリング分岐２０４内の同じ層のブロック間のＵ－Ｎｅｔ特徴転送接続２３４（鎖直線矢印により示す）を含む。特徴連結の使用はまた、密タイプ接続が特徴転送接続２３４を介し伝播されることを可能にする。

接続の残差成分は、斬新ニューラルネットワーク内の複数の他の層の中の一層が組織界面境界の出現を学習することを可能にし、以前に視覚化された出現を連続層が区別し、及び新しい組織界面出現情報を学習することを（ＲＥＳＮＥＴと同様に）促す。さらに、接続の密成分は、ネットワーク２００が組織界面境界の形状を解析することを可能にするために、斬新ニューラルネットワーク２００において以前に計算された特徴マップの再使用を促す。Ｄｅｎｓｅ－ＮＥＴと同様に、密接続は、勾配情報流れを改善し、過剰フィッティングを防止するか又は制限する。密接続は、残差接続が或る層及び先行層内の様々な畳み込み操作（拡張又は非拡張操作）から取得された特徴マップを合算するという点で残差接続と異なる。しかし、密接続は、複数の前層から現在層への特徴マップの連結及び未修正ネットワーク内のいくつかのブロック全体を通る及び／又はそれらにわたる流れを促進する。例えば、非限定的実施形態では、密接続は、深層学習ネットワーク２００のダウンサンプリング及びアップサンプリング分岐を介し確立され得る。

残差接続及び密接続をＵＮＥＴ深層学習アーキテクチャ内へ組み込むことは、計算資源の要求を増加する最適化されるべき無数のパラメータ（例えばパラメータ爆発）を生じる。深層学習ネットワーク２００の非限定的実施形態は、ネットワーク２００内のチャネル及び接続の数を制限するとともにボトルネック（例えばブロック２３０など）を追加することによりこの懸念を軽減する。

非限定的実施形態は、画像データを使用してトレーニングされた敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に基づき事前分割と組み合わせられ得る。

ここで図４を参照すると、非限定的実施形態による画像データを処理する方法が示される。図４に示す工程の順番は例示目的のためだけのものであるということと、非限定的実施形態がより多くの工程、より少ない工程、異なる工程、及び／又は異なる順番の工程に関与し得るということとが理解される。さらに、図４に示す例はＯＣＴデータに関係するが、本明細書で説明されるように、本明細書において開示されるシステム及び方法は多くの他のコンテキストおいて使用され得る。工程４００では、密接続及び残差接続を有するＣＮＮが生成される。工程４０２では、ＣＮＮは複数の異なるＯＣＴスキャナからのＯＣＴデータによりトレーニングされる。様々なＯＣＴスキャナは、様々な設定及び／又はパラメータを採用し、及び、その結果、トレーニングのために有益である多種多様なデータを提供し得る。工程４０４では、１つ又は複数のＯＣＴ画像などのＯＣＴデータがＯＣＴスキャナにより捕捉される。ＯＣＴスキャナは、工程４０２においてＣＮＮをトレーニングするために使用されるＯＣＴスキャナの１つであってもなくてもよい。工程４０６では
、ＯＣＴデータは、一連の畳み込みを介しダウンサンプリング及びアップサンプリングを行うＣＮＮへ入力される。工程４０８では、ＯＣＴデータはＣＮＮの出力に基づき分割される。例えば、ＣＮＮは、「各画素がラベル付けされた画像」を出力し得る。ラベル付けは、いくつかの例では様々な角膜界面であり得る。

ここで図５を参照すると、非限定的実施形態に従って画像データを処理するための深層学習モデルを生成する方法が示される。図５に示す工程の順番は例示目的のためだけのものであるということと、非限定的実施形態がより多くの工程、より少ない工程、異なる工程、及び／又は異なる順番の工程に関与し得るということとが理解される。さらに、図５に示す例はＯＣＴデータに関係するが、本明細書で説明されるように、本明細書において開示されるシステム及び方法は、多くの他のコンテキストにおいて使用され得る。工程５００では、密接続がＣＮＮの各層間に確立される。例えば、ＣＮＮの各層は、当該層に先行する各層への密接続を有し得る。工程５０２では、各ダウンサンプリング層の入力は、ＣＮＮの第１の分岐（例えば収縮分岐）においてダウンサンプリングされる。工程５０４では、各アップサンプリング層の入力は、入力を畳み込むことによりＣＮＮの第２の分岐（例えば伸張分岐）においてアップサンプリングされる。工程５０６では、生成されると、ＣＮＮはＯＣＴデータによりトレーニングされる。工程５０７では、解析されるＯＣＴデータがＣＮＮ内に入力される。工程５０８では、ＯＣＴデータはＣＮＮの出力に基づき分割される。

図６Ａ、６Ｂは、本明細書において説明されるシステム及び方法の非限定的実装形態からの試験データを示す。各図では、（Ｕ）はＵＮＥＴアーキテクチャにより行われる分割からのメトリックを表し、（Ｂ）はＢＲＵＮＥＴアーキテクチャにより行われる分割からのメトリックを表し、及び（Ｃ）は、本明細書において説明される深層学習ネットワークの非限定的実装形態による深層学習アーキテクチャにより行われる分割からのメトリックを表す。以下の３つの異なる角膜界面のメトリックが示される：上皮（ＥＰ：Ｅｐｉｔｈｅｌｉｕｍ）、Ｂｏｗｍａｎ層（ＢＬ）及び内皮（ＥＮ：Ｅｎｄｏｔｈｅｌｉｕｍ）。

図６Ａは、層境界位置（ＭＡＤＬＢＰ：Ｌａｙｅｒ Ｂｏｕｎｄａｒｙ Ｐｏｓｉｔｉｏｎ）における平均絶対差のメトリックを示し、図６Ｂは、フィッティングされた曲線間のＨａｕｓｄｏｒｆｆ距離（ＨＤ）のメトリックを示す。試験データによると、各メトリックにとって、本明細書において説明されるシステム及び方法の正差分が統計的に重要であった（ｐ＜０．０５）。本明細書において説明される深層学習ネットワークの非限定的実施形態は、他の手法を上回る。

ここで図７を参照すると、非限定的実施形態による、本明細書において説明されるシステム及び方法を実現し及び行うための、コンピュータ装置９００の例示的部品の線図が示される。いくつかの非限定的実施形態では、装置９００は、追加部品、より少ない部品、様々な部品、又は図７に示すものと異なるやり方で配置された部品を含み得る。装置９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージ部品９０８、入力部品９１０、出力部品９１２及び通信インターフェース９１４を含み得る。バス９０２は、装置９００の部品の中でも通信を可能にする部品を含み得る。いくつかの非限定的実施形態では、プロセッサ９０４は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実現され得る。例えば、プロセッサ９０４は、プロセッサ（例えば中央処理ユニット（ＣＰＵ）及びグラフィック処理ユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）など）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、及び／又は或る機能を行うようにプログラムされるか又は構成され得る任意の処理部品（例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）を含み得る。メモリ９０６は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又はプロセッサ９０４により使用される情報及び／又
は命令を格納する別のタイプの動的又は静的ストレージ装置（例えばフラッシュメモリ、磁気メモリ、光メモリなど）を含み得る。

図７を引き続き参照すると、ストレージ部品９０８は、装置９００の動作及び使用に関係する情報及び／又はソフトウェアを格納し得る。例えば、ストレージ部品９０８はハードディスク（例えば磁気ディスク、光ディスク、光磁気ディスク、固体ディスクなど）及び／又は別のタイプのコンピュータ可読媒体を含み得る。入力部品９１０は、装置９００がユーザ入力などを介し情報を受信することを可能にする部品（例えばタッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、マイクロホンなど）を含み得る。追加的に又はその代わりに、入力部品９１０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）部品、加速度計、ジャイロスコープ、アクチュエータなど）を含み得る。出力部品９１２は、装置９００から出力情報を提供する部品（例えばディスプレイ、スピーカ、１つ又は複数の発光ダイオード（ＬＥＤ）など）を含み得る。通信インターフェース９１４は、装置９００が有線接続、無線接続又は有線接続及び無線接続の組み合わせなどを介し他の装置と通信することを可能にする送受信器のような部品（例えば送受信器、別の受信器及び送信器など）を含み得る。通信インターフェース９１４は、装置９００が別の装置から情報を受信する及び／又は情報を別の装置へ提供することを可能にし得る。例えば、通信インターフェース９１４は、イーサネットインタフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉ（登録商標）インターフェース、セルラネットワークインターフェースなどを含み得る。

装置９００は、本明細書において説明される１つ又は複数の処理を行い得る。装置９００は、プロセッサ９０４がメモリ９０６及び／又はストレージ部品９０８などのコンピュータ可読媒体により格納されたソフトウェア命令を実行することに基づき、これらの処理を行い得る。コンピュータ可読媒体は、任意の非一時的メモリ装置を含み得る。メモリ装置は、単一物理的ストレージ装置の内部にあるメモリ空間、又は複数の物理的ストレージ装置全体にわたって広がるメモリ空間を含む。ソフトウェア命令は、通信インターフェース９１４を介し別のコンピュータ可読媒体から又は別の装置からメモリ９０６及び／又はストレージ部品９０８内へ読み込まれ得る。実行されると、メモリ９０６及び／又はストレージ部品９０８内に格納されたソフトウェア命令は、プロセッサ９０４に、本明細書において説明される１つ又は複数の処理を行わせ得る。追加的に又はその代わりに、ハードワイヤ回路構成が、本明細書において説明される１つ又は複数の処理を行うために、ソフトウェア命令の代わりに、又はそれと組み合わせて使用され得る。したがって、本明細書において説明される実施形態は、ハードウェア回路及びソフトウェアのいかなる特別な組み合わせにも限定されない。本明細書で使用される「プログラムされるか又は構成された」という用語は、ソフトウェアの配置、ハードウェア回路構成（デジタル及び／又はアナログ）、又は１つ又は複数の装置上のそれらの任意の組み合わせを指す。

本明細書で論述されるいくつかの非限定的実施形態において、コンピュータ実施方法は、ＣＮＮを使用することにより１つ又は複数の画像及び／又は画像のストリームを処理することを含む。いくつかの非限定的実施形態では、コンピュータ実施方法はリアルタイムで又はほぼリアルタイムで処理することを含み得る。いくつかの非限定的実施形態では、画像及び／又は画像群は、光コヒーレンストモグラフィ（ＯＣＴ）、超音波、光音響撮像、音響光学撮像、核磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、コンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、陽電子放射断層撮影（ＰＥＴ：ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）、単一光子発射コンピュータ断層撮影（ＳＰＥＣＴ：ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）、Ｘ線
、フルオロスコープ、走査レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）、カメラ、明視野撮像、又は任意の次元の任意の他のタイプの画像、任意のデータタイプ、任意の物理的特性及び／又は疑似特性を測定すること、又はこのような画像の任意の組み合わせのうちの１つ又は複数から生じる。

図解目的のための実施形態が詳細に説明されたが、このような詳細は当該目的だけのためであるということと、本開示は開示された実施形態に限定されず、逆に、添付の特許請求の精神及び範囲に入る修正及び等価配置をカバーするように意図されているということとが理解されるべきである。例えば、本開示は「可能な範囲内で任意の実施形態の１つ又は複数の機構が任意の他の実施形態の１つ又は複数の機構と組み合わせられ得る」ということを企図していると理解されるべきである。

Claims (39)

1. 画像データを処理するための深層学習モデルを生成するためのコンピュータ実施方法であって、
   畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；
   前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；及び
   畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法。
2. 前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理することをさらに含む、請求項１に記載のコンピュータ実施方法。
3. 前記ＯＣＴ角膜画像を処理することは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割することをさらに含む、請求項２に記載のコンピュータ実施方法。
4. 前記少なくとも３つの角膜界面は上皮、Ｂｏｗｍａｎ層及び内皮を含む、請求項３に記載のコンピュータ実施方法。
5. 前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ角膜画像の後部角膜組織界面を分割することをさらに含む、請求項２に記載のコンピュータ実施方法。
6. 前記ＣＮＮを使用することにより超音波画像を処理することをさらに含む、請求項１に記載のコンピュータ実施方法。
7. 複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングすることをさらに含む、請求項２に記載のコンピュータ実施方法。
8. 前記入力を畳み込むことは前記入力の３×３画素畳み込み又は異なるサイズの畳み込みを計算することを含む、請求項１に記載のコンピュータ実施方法。
9. 前記密接続は少なくとも６層の深さである、請求項１に記載のコンピュータ実施方法。
10. 角膜輪部、角膜又はそれらの組み合わせのうちの少なくとも１つの光コヒーレンストモグラフィ（ＯＣＴ）画像を、前記ＣＮＮを使用することにより処理することをさらに含む、請求項１に記載のコンピュータ実施方法。
11. 走査レーザ検眼鏡（ＳＬＯ）画像、光コヒーレンストモグラフィ（ＯＣＴ）画像、超音波画像、カメラ画像、明視野像、任意の次元及びデータタイプの任意の他のタイプの画像、又はそれらの任意の組み合わせのうちの少なくとも２つを含む複数の異なる撮像システムからの画像を、前記ＣＮＮを使用することにより処理することをさらに含む、請求項１に記載のコンピュータ実施方法。
12. 画像データを処理するための深層学習モデルを生成するためのシステムであって、
    畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層間の密接続を確立し；
    前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングし；及び
    畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするようにプログラムされるか又は構成
    された、少なくとも１つのプロセッサ
    を含む、システム。
13. 前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより光コヒーレンストモグラフィ（ＯＣＴ）角膜画像を処理するようにさらにプログラムされるか又は構成される、請求項１２に記載のシステム。
14. 前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像を少なくとも３つの角膜界面内へ分割するようにさらにプログラムされるか又は構成される、請求項１３に記載のシステム。
15. 前記少なくとも３つの角膜界面は、上皮、Ｂｏｗｍａｎ層及び内皮を含む、請求項１４に記載のシステム。
16. 前記少なくとも１つのプロセッサは、前記ＯＣＴ角膜画像の前部角膜組織界面及び前記ＯＣＴ角膜画像の後部角膜組織界面を分割するようにさらにプログラムされるか又は構成される、請求項１３に記載のシステム。
17. 前記少なくとも１つのプロセッサは、前記ＣＮＮを使用することにより超音波画像を処理するようにさらにプログラムされるか又は構成される、請求項１２に記載のシステム。
18. 前記少なくとも１つのプロセッサは、複数の異なるＯＣＴスキャナからの画像に基づき前記ＣＮＮをトレーニングするようにさらにプログラムされるか又は構成される、請求項１３に記載のシステム。
19. 前記入力を畳み込むことは、前記入力の３×３畳み込みを計算することを含む、請求項１２に記載のシステム。
20. 前記密接続は複数層の深さである、請求項１２に記載のシステム。
21. 前記少なくとも１つのプロセッサは、角膜輪部、角膜又はそれらの組み合わせのうちの少なくとも１つの光コヒーレンストモグラフィ（ＯＣＴ）画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される、請求項１２に記載のシステム。
22. 前記少なくとも１つのプロセッサは、走査レーザ検眼鏡（ＳＬＯ）画像、光コヒーレンストモグラフィ（ＯＣＴ）画像、超音波画像、カメラ画像、明視野像、任意の次元及びデータタイプの任意の他のタイプの画像、又はそれらの任意の組み合わせのうちの少なくとも２つを含む複数の異なる撮像システムからの画像を、前記ＣＮＮを使用することにより処理するようにさらにプログラムされるか又は構成される、請求項１２に記載のシステム。
23. 画像データを処理するための深層学習モデルを生成するためのコンピュータプログラム製品であって、プログラム命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記プログラム命令は、少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに、
    畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立させ；
    前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングさせ；及び
    畳み込むことにより前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングさせる、
    コンピュータプログラム製品。
24. 画像データを処理するための深層学習モデルを生成するための、コンピュータ実施方法であって、
    畳み込みニューラルネットワーク（ＣＮＮ）内の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立すること；
    前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立すること；
    前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の各ダウンサンプリング層の入力をダウンサンプリングすること；並びに
    前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の各アップサンプリング層の入力をアップサンプリングすることを含む、方法。
25. 前記密接続は、前記第１の分岐内のノード間及び前記第２の分岐内のノード間で確立される、請求項２４に記載のコンピュータ実施方法。
26. 各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む、請求項２４に記載のコンピュータ実施方法。
27. 各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む、請求項２４に記載のコンピュータ実施方法。
28. 各アップサンプリング層の前記入力をアップサンプリングすることは、最近傍補間を計算することを含む、請求項２４に記載のコンピュータ実施方法。
29. 前記ＣＮＮの複数の層及び前記ＣＮＮの複数の先行層の各層のビルディングブロック内に、拡張された畳み込みを確立することをさらに含む、請求項２４に記載のコンピュータ実施方法。
30. 異なる拡張ストライドに基づき、前記ＣＮＮのブロック内に一組の拡張及び／又は非拡張畳み込みを確立することをさらに含む、請求項２４に記載のコンピュータ実施方法であって、前記畳み込みは固定された重み付け及び／又は学習可能重み付けに基づく、方法。
31. 周囲画像コンテンツの追加空間的コンテキストを収集することをさらに含む、請求項３０に記載のコンピュータ実施方法であって、前記周囲画像コンテンツは周囲組織構造又は任意の他の要素を含む、方法。
32. 画像データを処理するための深層学習モデルを生成するためのシステムであって、
    畳み込みニューラルネットワーク（ＣＮＮ）の複数の層の各層と前記ＣＮＮの複数の先行層との間の密接続を確立し；
    前記ＣＮＮの前記複数の層及び前記ＣＮＮの前記複数の先行層の各層のビルディングブロック内に残差接続を確立し；
    前記ＣＮＮの第１の分岐内の複数のダウンサンプリング層の、各ダウンサンプリング層の入力をダウンサンプリングし；並びに
    前記ＣＮＮの第２の分岐内の複数のアップサンプリング層の、各アップサンプリング層の入力をアップサンプリングするように構成されたコンピュータ装置を含む、システム。
33. 前記密接続は、前記第１の分岐内のノード間及び前記第２の分岐内のノード間に確立さ
    れる、請求項３２に記載のシステム。
34. 各アップサンプリング層の前記入力をアップサンプリングすることは、前記入力を畳み込むことを含む、請求項３２に記載のシステム。
35. 各ダウンサンプリング層の前記入力をダウンサンプリングすることは、前記入力の最大プールを計算することを含む、請求項３２に記載のシステム。
36. 各アップサンプリング層の前記入力をアップサンプリングすることは、最近傍補間を計算することを含む、請求項３２に記載のシステム。
37. 前記コンピュータ装置は、前記ＣＮＮの複数の層及び前記ＣＮＮの複数の先行層の各層のビルディングブロック内に、拡張された畳み込みを確立するようにさらにプログラムされるか又は構成される、請求項３２に記載のシステム。
38. 前記コンピュータ装置は、様々な拡張ストライドに基づき、前記ＣＮＮのブロック内に一組の拡張及び／又は非拡張畳み込みを確立するようにさらにプログラムされるか又は構成され、前記畳み込みは固定された重み付け及び／又は学習可能重み付けに基づく、請求項３２に記載のシステム。
39. 前記コンピュータ装置は周囲画像コンテンツの追加空間的コンテキストを収集するようにさらにプログラムされるか又は構成された、請求項３８に記載のシステムであって、前記周囲画像コンテンツは周囲組織構造又は任意の他の要素を含む、システム。

Images