JP2021520959A - 生体組織のコンピュータ分類 - Google Patents

Abstract

生体組織が、コンピューティングシステムを使用して分類される。生体組織の検査領域の複数の画像を含む画像データが、コンピューティングシステムで受信される。複数の画像の各々は、組織の検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、異なる時間に捕捉される。受信された画像データは、コンピューティングシステム上で動作する機械学習アルゴリズムへの入力として提供される。機械学習アルゴリズムは、組織の複数のセグメントの各々に複数の分類のうちの１つを割り当てるように構成される。

Description

開示の技術分野
本開示は、方法ならびに対応するコンピュータプログラムおよびコンピュータシステムを含む、コンピューティングシステムを用いた生体組織の分類に関する。

生体組織の検査および分類は、癌スクリーニング手順の一部である。例えば、子宮頸癌のスクリーニングの場合、子宮頸部を直接観察し、その１つまたは複数の画像を捕捉する膣鏡検査を行うことができる。これにより、子宮頸部内の病変を、それらのリスクに依って同定および分類することができ、その結果、適切な生検または治療を行うことができる。このような分類は、一般的に医療専門家によって行われる。

特によく機能する膣鏡検査技術が、国際特許公開第ＷＯ−０１／７２２１４号に記載されており、病理鑑別剤（特に希酢酸）が生体組織に塗布される。これは、過渡的な光学的効果、特に組織の白色化を引き起こし、これは、直接、および捕捉された画像においても見ることができる。さらに、１つまたは複数の捕捉された画像の過渡的解析および／またはスペクトル解析、特に拡散反射率の測定を実行することができ、そのようなデータは、医療専門家の解析を支援するために医療専門家に提供することができる。この技術を用いた膣鏡は、Dysis Medical Limitedによって販売されている。

コンピュータベースの人工知能は、磁気共鳴イメージング（ＭＲＩ）および放射線画像などの多くの分野における医療分類に適用されてきた。人工知能技術を子宮頸部病変分類などの生体組織の分類に適用することも検討されている。An Observational Study of Deep Learning and Automated Evaluation of Cervical Images for Cancer Screening（癌スクリーニングのための子宮頸部画像のディープラーニングおよび自動評価の観察的研究）, Hu et al., J Natl Cancer Inst 2019 (doi: 10.1093/jnci/djy225)では、ポイントオブケア子宮頸部スクリーニングのために前癌性および癌性病変を同定すべく、「子宮頸写真」（子宮頸部上皮に希酢酸を塗布してから約１分後に固定焦点のリングライトフィルムカメラで撮影された子宮頸部画像）の自動評価が検討されている。このアプローチでは、子宮頸写真は、ディープラーニングベースのアルゴリズム、具体的には、より高速の領域ベースの畳み込みニューラルネットワーク（Faster R-CNN）への入力として提供される。このアルゴリズムは、物体（子宮頸部）検出、特徴抽出（物体の特徴を計算する）、および（症例確率スコアを予測する）高グレードの子宮頸部新形成に対する陽性または陰性としての分類を実行する。この方法は、スクリーニング母集団で研究すると、０．９１の曲線下面積（ＡＵＣ）を達成し、これは、前癌または癌症例を同定する際に、同じデータセットの元の子宮頸写真解釈（０．６９のＡＵＣ）よりも大きかった。

Multimodal Deep Learning for Cervical Dysplasia Diagnosis（子宮頸部異形成診断のためのマルチモーダルディープラーニング）, Xu et al., Medical Image Computing and Computer-Assisted Intervention - MICCAI 2016. Lecture Notes in Computer Science, vol. 9901, Springer, Chamは、子宮頸部異形成の診断に対する機械学習の適用を検討している。このアプローチでは、子宮頸部上皮への５％酢酸の塗布後に捕捉された子宮頸部の画像が、ディープニューラルネットワークへの入力として提供される。さらに、このニューラルネットワークがマルチモーダル入力を有するように、被験者に関する他の医療検査の臨床結果および他のデータが入力として提供される。複数の畳み込みニューラルネットワーク層を含む構造が、画像特徴を学習するために使用され、異なるモダリティは、ジョイント全結合ニューラルネットワーク層を使用して組み合わされる。この技術は、９０％の特異性で８７．８３％の感度を有する最終診断を与えると報告されている。

そのような技法は、特に子宮頸部スクリーニングが利用できない発展途上の世界において医療専門家に有用であり得るが、正確な生検配置のための疾患のマッピングおよびグレード付けなどの、人工知能からの、より臨床的に有用な出力の提供は、医療専門家が、正しく診断し、必要に応じて適切な治療またはフォローアップを提供する能力を改善するために、望ましい。

開示の概要
この背景に対して、本開示は、請求項１によるコンピューティングシステム、請求項２７によるコンピュータプログラム、および請求項２８によって規定されるコンピューティングシステムを用いた生体組織の分類のための方法を提供する。さらなる特徴は、従属請求項および本明細書に詳述される。

生体組織（特に、被験者の子宮頸部）の検査領域の複数の画像を含む画像データが、コンピューティングシステムで受信される。各画像は、組織の検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、異なる時間に捕捉される。特に、病理鑑別剤は、過渡的な光学的効果が酢酸白化効果を含むように、酢酸（典型的には、酢酸を通常３〜５％に希釈する）を含むことができる（ただし、例えば分子診断を使用して、他の鑑別剤および／または光学的効果も可能であり得る）。検査領域は、画像捕捉期間中、広帯域（光学スペクトルの大部分またはすべてにわたる）または狭帯域（おそらくは紫外線および／または赤外線を含む１つのみまたは限られた範囲の色を規定する特定の波長の１つまたはある範囲に限定される）であり得る光放射に曝露され得る。したがって、薬剤の塗布後に（たとえば、所定のおよび／または規則的な間隔で）捕捉された画像は、過渡的な光学的効果の進行を示し得る。受信された画像データ（これは、以下で説明されるように、画像処理の対象となったかもしれない）は、（コンピューティングシステム上で動作する）機械学習アルゴリズムへの入力として提供される。機械学習アルゴリズムは、複数の分類のうちの１つを組織に割り当てる。また、子宮頸部は、例えば、１つまたは複数のマスク（例えば、形態の認識または特徴抽出によって規定される）の適用に基づいて、および／または組織にわたって適用される局所分類に基づいて、セグメント化されてもよい。したがって、組織は、特に子宮頸部の各セグメントに割り当てられた異なる分類で、組織の検査領域の別個の規定されたサブ領域に分類され得る。分類は、連続範囲上の値のスケール（０から１または０から１００など）、または複数の疾患タグ（例えば、陰性対陽性または例えば、低リスク、中リスク、高リスク、の特定の疾患状態、例えば、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３、または非定型血管の存在、持続的もしくは密な酢酸白化などの鮮明な病変境界もしくは疾患など、１つまたは複数の形態の特性の存在）を含み得る別個の選択肢のセットによって規定され得る。

本明細書に開示されるアプローチでは、生体組織のインビボまたはインビトロでの自動分類を達成することができる。過渡的な光学的効果の進行にわたって撮影される複数の画像の使用は、既存の方法よりも分類の感度および／または特異性に有意な改善を有し得る。感度および特異性は、頸部異形成および／または頸部新形成を同定する能力を指し得る。したがって、感度は、頸部異形成および／または頸部新形成を示す組織を正確に同定する能力を指す。したがって、特異性は、頸部異形成および／または頸部新形成を示さない組織を正確に同定する能力を指す。適用前後関係に応じて、出力は、感度もしくは特異性を最大にすること、または一方もしくは両方に最適であり得る閾値で動作することに焦点を当てられ得る。分類は、被験者／組織全体に基づいて提示され得るが、本発明は、前癌性または癌性であることが疑われる組織の領域が同定されることを可能にする。これは、外科的切除を含む生検または治療を指示するのに有利であり得る。これらの部位は、同定を確認するために生検され得る。そのようなシステムの成功した実現例は、多くの場合または大部分の場合に生検の採取を希なものにし得る。例えば、患者は、そのような分類の出力に基づいて、慣例的なスクリーニングへの免除または治療のために直接方向付けられ得る。さらに、機械学習アルゴリズムの出力は、以下に考察されるように、既存のアプローチよりも臨床的に有用であり得る。本技法は、方法、コンピュータプログラム、プログラム可能なハードウェア、コンピュータシステムとして、および／または組織検査のためのシステム（膣鏡検査システムなど）において実現され得る。

例えば、組織の分類のために動作するコンピューティングシステムは、画像データを受信するための入力と、機械学習アルゴリズムを動作させるためのプロセッサとを含むことができる。実施形態では、それは、画像データが基づく光学画像（例えば、ＲＡＷ画像）を捕捉するための画像収集モジュールをさらに含む。画像収集モジュールは、プロセッサから遠隔に配置され得る。いくつかの設計では、プロセッサは、各々が機械学習アルゴリズムの一部を（例えば分散方式で）動作させる複数の処理装置を含む。次いで、画像収集モジュールは、処理装置のうちの少なくとも１つから遠隔に配置され得る。本開示による可能な実現例（方法ステップもしくはプログラムステップおよび／または構造的特徴としてか）のいずれかに適用可能なアプローチを以下に論じる。

機械学習アルゴリズムへの入力として提供される画像データは、画像収集モジュール（これは、コンピュータシステムの一部を形成してもよいし、外部であってもよい）によって取得された、捕捉された光学画像、すなわちＲＡＷ画像から導出されてもよい。例えば、光学（ＲＡＷ）画像は（例えば、それぞれの光学画像の合焦距離に基づいて）スケーリングされ得る。これは、１つの組織に対する複数の画像が、別の組織に対するのと同じスケールを有することを可能にし得る。各画像は、同一の画素構成（即ち、同一の画像サイズおよび形状）を有してもよい。複数の画像の整列は、光学画像に１つまたは複数の変換を適用することによって達成され得る。アーチファクトは、画像解析および／または処理によって光学画像から除去され得る。画像は、分解されるか、またはパッチ（例えば、画素の連続ブロック、好ましくは２次元ブロックである）に細分化され得、これは画像データを形成し得る。パッチは重なり合ってもよく、例えば、パッチサイズより小さいストライドで形成されたパッチであり得、解像度を増大させ得る。

機械学習アルゴリズムへの追加の入力は、局所的な色、勾配、およびテクスチャを記述する数学的関数に基づいて、調整された特徴を抽出するために複数の画像の各々を処理することに基づき得るが、他の特性も想定され得る。これは、画素のブロック（例えば、８×８、１６×１６、３２×３２画素もしくは他のサイズの正方形のブロック、長方形のブロックまたは別の形状のブロック）のパッチとして規定される画像のサブ部分に対して別途行われてもよい。各画像は、４、８、１６、３２画素（他のサイズも可能である）であり得る、間にストライドを有するいくつかのパッチに分解され得る。上述したように、パッチは、機械学習アルゴリズムへの入力として提供される画像データとして提供されてもよい。

各画素に対するそれぞれの解析指標を含むマップデータは、コンピュータシステムにおいて取得されてもよい。解析指標は、例えば、複数の画像にわたる画素の最大強度；画素の最大強度に達する時間；および複数の画像にわたる画素の強度の合計（これは、例えば、画像捕捉の時間に対する強度の曲線下面積を提供するために、重み付けされた合計を含み得る）のうちの１つまたは複数に基づいて、複数の画像から導出される。これらのパラメータの各々は、所定のスペクトル帯域幅に制限されてもよく、および／または（同じタイプもしくは異なるタイプの）複数のそのようなパラメータが、各々、異なるスペクトル帯域幅に対して使用されてもよい。複数の画像にわたる同じ画素についてのデータを曲線に当てはめることができ、この曲線を使用してパラメータを得ることができる。これは、曲線下面積（積分）、最大強度までの曲線下面積（「最大への面積」）、最大強度までの曲線の（当てはめられた、または平均）傾き、最大強度後の曲線の（当てはめられた、または平均）傾きのうちの１つまたは複数から選択される有用なパラメータを生じる。本発明で有用な具体的なパラメータはＷ０２００８／００１０３７で論じられており、その全体をここに引用により援用する。解析指標を確立するために、（異なるタイプおよび／または異なるスペクトル帯域幅の）複数のパラメータの重み付けされた組み合わせが使用され得る。解析指数は拡散反射率の尺度を表し得る。有利なことに、マップデータは、機械学習アルゴリズムへのさらなる入力として、例えばさらなる画像入力として提供されてもよい。

機械学習アルゴリズムは、有利なことに、ニューラルネットワーク、より好ましくは（２つ以上の隠れ層を含む）ディープニューラルネットワークを含むが、浅いニューラルネットワークを使用する実現例も考慮され得る。ディープニューラルネットワークは、任意選択で、畳み込みニューラルネットワーク；全結合ニューラルネットワーク；および再帰型ニューラルネットワークの１つまたは複数を含むが、他の種類のネットワークも考慮され得る。ディープニューラルネットワークは、１つまたは複数の畳み込みニューラルネットワーク層を含むことができる。機械学習アルゴリズムは、トレーニングおよびテストのための入力として画像データおよび非画像データを受信することができるという点で、マルチモーダルであることが好ましい。

実施形態では、画像は、１つもしくは複数の抽出された特徴および／または少なくとも１つの形態学的特性、たとえば非定型血管、モザイク現象、および小斑点のうちの１つもしくは複数を識別および／または定量化するために処理される。１つもしくは複数の抽出された特徴および／または少なくとも１つの形態学的特性は、機械学習アルゴリズムへの追加の入力として提供され得る。あまり好ましくない手法では、これは、画像を（１つもしくは複数の抽出された特徴および／または少なくとも１つの形態学的特性に基づいて）パッチに分割することを可能にし得る。

１つまたは複数の被験者特性（各々、生体組織が由来する被験者に関連する）が、機械学習アルゴリズムへの別の入力として提供されてもよい。例えば、被験者の特性は、被験者リスク因子および／または被験者臨床検査結果を含むことができる。被験者リスク因子は、被験者の年齢；被験者の喫煙者ステータス；ＨＰＶに対するワクチン接種ステータス；性的パートナーの数；コンドームの使用；および被験者の出産経歴のうちの１つまたは複数を含み得る。被験者臨床検査結果は、以前の細胞診結果；以前のヒトパピローマウイルス（ＨＰＶ）検査結果；以前のＨＰＶタイピング検査結果；以前の子宮頸部治療情報；および以前の子宮頸癌または前癌のスクリーニングの履歴のうちの１つまたは複数を含み得る。

有利なことに、機械学習アルゴリズムは、複数の分類のうちの１つを組織の１つまたは複数のセグメントの各々に割り当てる。１つまたは複数のセグメントは、例えば個々の関心領域または病変を同定するために機械学習アルゴリズムを使用して画像データから識別することができる。いくつかの実施形態では、子宮頸部に対応する画像の一部分が識別されてもよく、これにより、好適なセグメントを決定することができる。例えば、分類は、診断タグの形式をとることができる。別の選択肢では、分類は、（有利なことに複数の画像に基づく出力画像である）組織の画像の「ヒートマップ」の形式であってもよく、各画素の強度および／または色は、その画素の分類、好ましくはその画素の確率的分類を示す。別の選択肢では、分類出力は、リスクタグの形式とすることができ、それによって、組織領域は、無リスク、低リスク、または高リスクとして（例えば、バウンディングボックスによって）強調表示される。任意選択で、組織に対する全体的な分類も割り当てられ得る。これは、セグメントに割り当てられた分類、または（別個の）並列機械学習モデルの結果に基づいてもよい。

機械学習アルゴリズムは、有利なことに、複数の他の生体組織の各々について、それぞれの複数の画像およびそれぞれの割り当てられた分類（または適用可能であれば複数の分類）に基づいてトレーニングされる。他の生体組織の数は多くてもよく、例えば少なくとも５００，１０００，２０００または５０００であってもよい。割り当てられた分類は、各組織の特定の領域（または複数の領域のグループ）が組織病理読み取り値によって特徴付けられるようなものであり得る。

機械学習アルゴリズムはまた、（Lifelong Learning with Dynamically Expandable Networks（動的に拡張可能なネットワークによる生涯学習）, Yoon et al, ICLR 2018に記載されているような）移転学習および選択的再トレーニングなどの方法を使用して、（医療専門家によって、例えば組織学的もしくは主観的評価での生検または切除治療から提供されるような）組織に対するユーザ決定分類またはデータベース分類を機械学習アルゴリズム（および／または第２のコンピュータシステム上で動作する機械学習アルゴリズムの、あるバージョン）に提供することによって、継続的および／または動的にトレーニングされ得る（増分学習）。機械学習アルゴリズムが分散して提供される場合、第１の部分は画像収集モジュールにローカルに提供されてもよく、第２の部分はより遠隔で提供されてもよい。両方の部分とも、分類を割り当てることができる。連続的（動的）トレーニングは、特にバッチで、第２の部分にのみ適用されてもよく、複数の異なる第１の部分からのデータを組み込んでもよい。第１の部分は固定アルゴリズムであってもよく、（間隔をあけて、例えば、複数の分類の後、または特定の長さの時間後に）更新されてもよい。

本発明は、いくつかの方法で実施することができ、好適な実施形態は、例としてのみ、添付の図面を参照して説明される。

本開示によるコンピューティングシステムの概略図である。 本開示によるプロセスを概略的に示す。 本開示による実験システムのための方法を示すフローチャートを概略的に示す。 公知のランダムフォレスト分類モデルを概略的に示す。 公知の人工ニューラルネットワークアーキテクチャを概略的に示す。 公知のロングソートタームメモリアーキテクチャを概略的に示す。 既存の方法（図７Ａ）によって処理された第１の例示的生体組織のヒートマップを示す。 図４の方法（図７Ｂ）に従って処理された第１の例示的生体組織のヒートマップを示す。 図５の方法（図７Ｃ）に従って処理された第１の例示的生体組織のヒートマップを示す。 図６の方法（図７Ｄ）に従って処理された第１の例示的生体組織のヒートマップを示す。 既存の方法（図８Ａ）によって処理される、第２の例示的生体組織のヒートマップを示す。 図４（図８Ｂ）の方法論に従って処理される、第２の例示的生体組織のヒートマップを示す。 図５（図８Ｃ）の方法論に従って処理される、第２の例示的生体組織のヒートマップを示す。 図６（図８Ｄ）の方法論に従って処理される、第２の例示的生体組織のヒートマップを示す。

好ましい実施形態の詳細な説明
まず図１を参照すると、本開示によるコンピューティングシステムの概略図が示されている。コンピューティングシステムは、画像収集モジュール１０；ローカルプロセッサ１５；メインサーバ２０；素性データベース３０；撮像データベース４０を含む。ローカルインターフェース１２は、画像収集モジュール１０をローカルプロセッサ１５に結合する。処理インターフェース２２は、ローカルプロセッサ１５をメインサーバ２０とを結合する。第１の素性インターフェース３２は素性データベース３０をローカルプロセッサ１５に結合し、第２の素性インターフェース３４は素性データベース３０をメインサーバ２０に結合する。第１の画像データインターフェース４２は、撮像データベース４０をローカルプロセッサ１５に結合し、第２の画像データインターフェース４４は、撮像データベース４０をメインサーバ２０に結合する。図１のコンピューティングシステムは、例えば、光学システムおよび／または電子制御システムの一部であるコンピュータとは別個であり得る部分を組み入れることに留意されたい。しかしながら、これらはすべて、本開示の目的のためにコンピューティングシステムの一部と見なされる。

画像収集モジュール１０は、検査領域、特に子宮頸部の光学画像を捕捉して収集するための膣鏡撮像ユニットである。本発明の主な実施形態は、膣鏡システムに関し、そのようなシステムに適用可能な有意かつ明確な利点が存在するが、本明細書で説明される実現例は、生体組織の検査および／または撮像のための他のタイプのシステムに使用され得ることが理解されるであろう。画像収集モジュール１０は、ローカルプロセッサ１５によって制御され、ローカルプロセッサ１５は、例えば、制御および／またはディスプレイを含むユーザインターフェースを含み得る。素性データベース３０は、患者素性データを保存するために使用される。検査中、ローカルプロセッサは、第１の素性インターフェース３２を使用して素性データベース３０とインターフェースして、検査されている患者の素性データを検索することができる。検査中に収集された画像は、第１の画像データインターフェース４２を介して撮像データベース４０に格納される。患者識別子は、素性データベース３０に記憶される情報と相互参照することを可能にするためにパテント画像とともに記憶されてもよい。

検査プロセスの一部として、希酢酸が子宮頸部に局所的に塗布され、酢酸白化効果を引き起こす。子宮頸部の画像は、酢酸白化のプロセスの間に撮影される。画像捕捉は、希酢酸の塗布後に開始され、さらに、（参照画像を提供するために）塗布前および塗布時に開始されてもよい。子宮頸部を含む標的領域または検査領域が照明される。照明の特性は、典型的には、ビーム特性、色プロファイルおよび強度に関して標準化ならびに定量化される。子宮頸部上皮の光学特性の変化を定量化する目的で、子宮頸部の一連の光学画像を経時的に捕捉する。典型的には、画像は、希釈酢酸が塗布される時間に対して所定の時間で撮影される。所定の時間は、一定の間隔であってもよく、または、最初はより頻繁で、その後は、より頻繁でなくてもよい。これらの画像は、上述したように、撮像データベース４０に保存される。画像は、離散的な画像の形式で、および／もしくはビデオフォーマットもしくはストリームとして、捕捉ならびに／または保存されてもよく、任意選択で、（１つまたは複数の画面を有する）ローカルプロセッサ１５のユーザインターフェースを使用して表示され、これは、オペレータが検査も実行することを可能にし得る。画像収集モジュールは、標準化され測定可能な特性（例えば、視野および／または色プロファイルおよび／または光強度に対する応答）を有するように較正される。各画像の合焦距離は既知であり、保存される。光学画像は、広い周波数スペクトルまたは狭い周波数スペクトル（例えば、１つまたは複数の特定の光学周波数帯域に限定され、それらの各々は、特定の色または色のグループのような、全光学スペクトルより小さい）を捕捉することができる。

「ＲＡＷ」光学画像（本明細書において「光学画像」という用語は、典型的には、画像処理および／もしくは解析の完了前のＲＡＷ画像またはそのような画像を指す）の処理は、ローカルプロセッサ１５および／またはメインサーバ２０において、例えば画像解析サブシステムの形式で行われてもよい。処理の１つの形式は、画像のサイズを標準化することである。固定焦点距離光学系の場合、これは、各光学画像の合焦距離を参照して達成され得る。典型的には、同じ検査領域の各光学画像の合焦距離は、（特に、国際特許公開第ＷＯ−０１／７２２１４号に記載されているような膣鏡装置を使用する場合、）同じであり、組織と装置の光学ヘッドとの間の相対位置は、複数の画像の捕捉の間、ほぼ一定のままである。光学画像のそれぞれの合焦距離を使用して、画像は、（各画素が標準的な物理的長さに対応するように）標準サイズにスケーリングされ得る。これにより、異なる組織について撮影した画像の比較が可能となる。しかしながら、組織と装置の光学ヘッドとの間の相対位置が変動し得る、あまり有利ではない膣鏡装置が使用される場合、複数の画像は、各々、それらのサイズを標準化するようスケーリングされてもよい。

画像をサイズ決定するための典型的な解像度は１０２４×７６８または２０４８×１５３６であるが、他の解像度も可能である。別の処理形式は、子宮頸部などの、画像に示される特定の特徴を参照する画像の整列である。そのような整列の目的は、光学画像の捕捉中の変位および収縮などの自然な動きを補償することである。そのような整列は、画像スタックを通して特徴の整列を達成するよう、（並進、回転、拡大、または変形のためになど）変換パラメータを決定するために、画像の各々における１つまたは複数の特定の特徴の識別、および特徴識別に基づく画像の比較によって達成され得る。次いで、標準的な画像処理技術を使用して、決定された変換パラメータに基づいて変換を実現することができる。さらなる画像処理の形式は、ＲＡＷ光学画像または後処理された画像を処理して背景（関心領域）に対する子宮頸部の領域を識別するアルゴリズムを含み得る。反射などの画像上に共存し得るアーチファクトは、別の処理形式で識別および除去され得る。パターン認識により、さらに、非定型血管、モザイク現象、および小斑点のうちの１つまたは複数などの形態学的特性を識別することができる。典型的には、すべての形式の画像処理形式が使用されるが、一部の実施形態では、サブセットだけが適用されてもよい。さらに、異なる形式の処理がシステムの異なる部分において実行されてもよい。処理された画像は、高品質ＪＰＥＧまたはＰＮＧフォーマットおよびＲＧＢカラーモードである（が、異なるフォーマットが受け入れられてもよい）。品質メトリックを用いて、グレアまたは他のアーチファクトおよび非合焦画像を示す領域など、画像に関する問題の識別を可能にしてもよい。これは、それらを任意の解析からの排除することおよび／またはユーザにフィードバックを提供することを可能にし得る。

近年、人工知能（ＡＩ）は、医療および健康関連の用途を含む様々な人間の活動範囲で実施されることが証明された方法として出現した。科学団体にわたって開発された高度なアルゴリズムは、より正確かつ効率的なプロセスを約束する。医療画像を処理するためのＡＩの適用、特に、酢酸白化プロセスを適用した子宮頸部の画像を用いたＡＩの適用が、既に検討されている。現在、酢酸白化プロセス中の子宮頸部の複数の画像の適用（例えば収集および解析）は、ＡＩの性能を著しく改善し得ることが認識されている。これは、酢酸白化効果のような過渡的な光学的効果において、その効果は、プロセスの終わりだけでなく、プロセス自体の間においても異なる可能性があるという驚くべき認識のためであろう。プロセスの１つの時点だけを観察することは、生体組織、特にこの場合では子宮頸部に関するなんらかの情報を提供する。しかしながら、プロセスは子宮頸部全体にわたって均一ではないかもしれず、プロセス全体を観察することは、生体組織についての光学的効果およびそれらの意味を正確に分類するのに特に有用であり得る有意な追加情報を提供し得る。プロセスの複数の画像を提供されたＡＩは、それによって、膣鏡法が、頸部新形成について疑わしい領域を同定および／または特徴付けることを可能にし得る。

図１のシステムにおけるＡＩは、ローカルプロセッサ１５とメインサーバ２０との両方に設けられる。双方のシステムは、酢酸白化プロセスの間に捕捉され、撮像データベース４０に保存された子宮頸部の複数の画像にアクセスすることができる。ローカルプロセッサは、固定ＡＩアルゴリズムを使用し、これは、画像に基づく子宮頸部の即時分類を可能にする。メインサーバ２０は、より定期的に、好ましくは結果のバッチで更新されるＡＩアルゴリズム（換言すれば、アルゴリズムは、データのバッチから連続的かつ動的に学習している）を使用し、より好ましくない場合では、新たな検査ごとに更新されてもよい。これを達成するために、メインサーバ２０内のＡＩアルゴリズムは、固定ＡＩと比較して異なる構造および／またはパラメータ化を有することができ、この差は、メインサーバ２０内のＡＩアルゴリズムにさらなるトレーニングが提供されるにつれて、時間とともに増加し得る。ローカルプロセッサ１５は、固定ＡＩアルゴリズムを使用し、これは、間隔ごとに、好ましくはメインサーバにおいてトレーニングされたＡＩアルゴリズムを使用して、特に定常状態に発達すると、更新されることができる。固定ＡＩアルゴリズムは、メインサーバ２０上で動作するＡＩアルゴリズムよりも高速な結果を提供することができる。メインサーバ２０は、クラウドベースであってもよく、したがって、複数の遠隔デバイスから子宮頸部画像データセットを収集し、解析することができる。したがって、トレーニングセットは大きく、例えば、人口統計学的変化またはスクリーニングプログラムにおける変化から生じる差異を捕捉することができる。

ＡＩは、ローカルプロセッサ１５および／またはメインサーバ２０においてソフトウェアモジュールとして実現されてもよい。このＡＩは機械学習アルゴリズムを含む。典型的には、これはニューラルネットワークを使用し、ディープニューラルネットワーク（２つ以上の隠れ層を含む）であり得る。より具体的には、全結合ニューラルネットワーク（ｆｃＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）もしくは畳み込みニューラルネットワーク（ＣＮＮ）、またはこれらもしくは他の種類のニューラルネットワークのアンサンブルスキームでの組み合わせが使用され得る。最も基本的な実施形態では、ＡＩは、以下で論じるように、酢酸白化効果の間に捕捉された複数の画像からのデータが与えられる。しかしながら、追加のデータもＡＩに提供されることが好ましい。その場合、ＡＩは、画像データおよび非画像データを組み合わせることができるマルチモーダルニューラルネットワークを含むことができる。

ＡＩに提供される画像は、光学系によって捕捉される時系列の「ＲＡＷ」画像とすることができる。しかしながら、画像は、より典型的には、「ＲＡＷ」光学画像の処理後に提供され、特に、ソフトウェアアルゴリズムによるスケーリングおよび／もしくは整列に続いて、ならびに／または子宮頸部識別、アーチファクト除去もしくはパターン認識の１つもしくは複数についての処理後に、提供される。いくつかの実現例では、ＲＡＷ画像および後処理された画像の両方を入力として提供することができる。捕捉された画像のセット全体、またはその画像セットのサブセット（いずれの場合においても、さらなる処理を伴うかまたは伴わない）を、ＡＩへの入力として提供してもよい。例えば、ＲＡＷ画像または後処理された画像は、パッチに細分されてもよく、それらは画像データとして提供されてもよい。提供されるパッチのサイズおよび／または数は、画像間で異なり得る。本明細書で説明される特徴抽出および／または他の処理は、画像全体ではなく、パッチに適用されてもよい。

ＡＩへの１つの追加入力は、画像データのさらなるデータ処理（典型的には、特に同じスケーリングおよび整列を達成するために、「ＲＡＷ」光学画像の後処理）に基づくことができる。このさらなるデータ処理は、画像内の拡散反射率特性を測定するために使用されてもよく、ローカルプロセッサ１５および／またはメインサーバ２０において実行されてもよい。まず、画素値（強度など）が、整列された画像から抽出され、画像が捕捉された時間（これは絶対時間でもよく、または希酢酸が局所的に塗布された時間に対するものであってもよい）に従って参照され得る。次いで、時間分解された画素値から、最大強度、時間対最大強度、および時間に対する画素値の曲線下面積（すなわち、時間に対する画素値の積分）のような異なるパラメータを計算する。これらのパラメータは、１つもしくは複数のスペクトル帯域において、および／または画像画素のすべてもしくはサブサンプルについて、計算され得る。パラメータは、捕捉された時間分解された画素値に直接基づいてもよいが、代わりに、時間分解された画素値から計算された中間値を使用して計算されてもよい。例えば、中間値は、抽出された時間分解された画素値を数学的関数（例えば、一次関数、曲線、または指数関数）に当てはめることによって決定され得る。次いで、この関数の係数を使用して、最大強度、時間対最大強度、および時間曲線に対する画素値の下の面積などの、異なるパラメータを計算することができる。そのようなパラメータは、拡散反射率のレベルを表し得る、ＡＩへの特定の入力として使用され得る。別のアプローチでは、パラメータは、例えば、単一のパラメータまたはパラメータの重み付けされた組み合わせから、画素当たりの単一の数値的指標値を計算するために使用され得る。次いで、画素当たりの単一の数値的指標値を、ＡＩへの入力として提供することができる。代替的に、擬似カラースケールからの色を、各画素に、その指標値に基づいて割り当ててもよく、対応する擬似色を子宮頸部画像の各画素にわたってプロットすることによって、パラメトリック擬似カラーマップを生成してもよい。次いで、このパラメトリック擬似カラーマップを、ＡＩへの入力として提供してもよい。

ＡＩへの１つの追加入力は、画像データのさらなるデータ処理（典型的には、特に同じスケーリングおよび整列を達成するために、「ＲＡＷ」光学画像の後処理）に基づくことができる。これは、８×８または１６×１６または３２×３２画素のパッチ（他の形状および／またはサイズのパッチも可能である）として規定され得る画像のサブ部分に対して別途行われ得る。各画像は、間にストライドを有する、４、８、１６、３２個の画素（他のサイズも可能である）であり得る、いくつかのパッチに分解され得る。このようにして、各パッチは、その近隣パッチと部分的に重なり合ってもよく、多数のパッチを各画像または画像の各部分から抽出することができる。このさらなるデータ処理は、局所的な色、勾配、およびテクスチャを記述する数学的関数（他のタイプの関数も可能である）に基づいて、調整された特徴または手作業による特徴を抽出するために使用され得る。次いで、これらの特徴は、ＡＩへの入力として提供され得る。

他の形態の情報が、例えば、素性データベース３０に格納された情報を使用して、ＡＩへの１つまたは複数の追加入力として提供されてもよい。そのような情報は、患者の人口統計；患者リスク因子；以前の医療履歴情報；および臨床検査結果うちの１つまたは複数を含み得る。患者の人口統計は、例えば、検査時の患者の年齢（または年齢が予め規定された閾値を超えること）を含み得る。患者リスク因子は、患者の喫煙者ステータス（例えば、非喫煙者、常習喫煙者、非常習喫煙者、またはかつて喫煙者であったなど）；患者の性的ステータスおよび／または履歴；性交中のコンドームの使用（常に、時々、または決して使用しないなど）；ＨＰＶに対するワクチン接種のステータス；ならびに患者の出産経歴（出産の有無および／または出産数に関して）を含み得る。患者の臨床検査結果は、以前の細胞診結果；以前のＨＰＶ検査結果；以前のＨＰＶタイピング検査結果；以前の子宮頸部治療情報；ならびに以前の子宮頸癌または前癌のスクリーニングおよび／または診断の履歴の少なくとも１つまたはこれらの組み合わせを含み得る。考えられる細胞診結果は、（重症度によって順序付けられた、）正常、ＡＳＣＵＳ（境界線）、ＬＳＩＬ（軽度の細胞核異常）、ＡＳＣ−Ｈ、中程度の細胞核異常、重度の細胞核異常（ＨＳＩＬ）、腺の異常による変化の疑い、または侵襲性癌の疑いのうちの１つであり得る。考えられるＨＰＶ検査結果は、陰性、ＨＲ陽性、１６陽性、１６／１８陽性または他の１つであり得る。

したがって、概して、コンピューティングシステムを使用して、子宮頸部などの生体組織を（インビボまたはインビトロで）分類するための方法が考えられ得る。生体組織の検査領域の複数の画像を含む画像データが、コンピューティングシステムで受信される。複数の画像の各々は、組織の検査領域に病理鑑別剤（特に酢酸を含み、それは好ましくは希釈される）を局所塗布する期間中、異なる時間に捕捉される。これは、（酢酸が使用されるところに）酢酸白化であり得る、白化などの過渡的な光学的効果を引き起こす。受信された画像データは、コンピューティングシステム（具体的には、例えば、コンピューティングシステムの１つまたは複数のプロセッサ）上で動作する機械学習アルゴリズムへの入力として提供される。機械学習アルゴリズムは、有利にはニューラルネットワーク、より好ましくはディープニューラルネットワークを備え、複数の分類のうちの１つを組織に割り当てるように構成される。好ましい実施形態では、機械学習アルゴリズムは、組織の複数のセグメントの各々に複数の分類のうちの１つを割り当てるように構成され、これは、有利なことに、（以下でさらに考察されるように）分類を示すヒートマップの形式で提示され得る。本方法は、コンピュータプログラムとして実現され得る。

別の意味では、組織の分類のために動作するコンピューティングシステムが考えられ、生体組織の検査領域の複数の画像を含む画像データを受信するように構成された入力；および画像データに基づいて複数の分類のうちの１つを組織に割り当てるように構成された機械学習アルゴリズムを動作させるように構成されるプロセッサを備える。複数の画像の各々は、組織の検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、異なる時間に捕捉される。

好ましい具体的な実施形態のさらなる実現例の詳細を提供する前に、この一般化された方法および／もしくはコンピュータシステムのいくつかの任意選択的特徴ならびに／または有利な特徴について説明する。そのような特徴は、典型的には、いずれの態様にも適用することができる。

複数の画像（または、複数の画像が導出される光学画像、ＲＡＷ画像とも称される）は、一般に、組織の検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、所定の持続時間の間隔（規則的であり得るが、そうでなくてもよい）で捕捉される。過渡的な光学的効果を引き起こす組織の検査領域への病理鑑別剤の局所塗布前の生体組織の少なくとも１つの画像が捕捉されてもよく（ベースライン参照画像）、これは、機械学習アルゴリズムへのさらなる入力として提供されてもよい。検査領域は、組織の検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、広帯域光放射に有利に曝される。広帯域光放射は、好ましくは、過渡的な光学的効果に基づく帯域幅を有し、例えば、捕捉された画像において酢酸白化効果を可視にする帯域幅のものである。光放射によって達成される画像輝度の照明レベルは、入射光強度および光源と標的との間の距離に関して十分に特徴付けられ得る。広帯域光放射は、光スペクトル全体、光スペクトルの少なくとも９０％、８０％、７５％、７０％、６０％、または大部分（５０％）をカバーし得る。狭帯域光放射は、場合によっては、例えば、特定の病理鑑別剤（例えばフルオレセインマーカーを使用する分子診断など）のために使用され得る。その場合、狭帯域光放射は、例えば、紫外線または赤外線のような、単一色に限定される、光スペクトルの５０％未満、４０％未満、３０％未満、２０％未満、または１０％未満をカバーしてもよい。

コンピューティングシステムのプロセッサは、単一の処理装置または複数の処理装置を備えてもよい。各処理装置は、任意選択で、機械学習アルゴリズムの一部を（例えば、分散方式で）動作させるように構成される。処理装置は、異なる（遠隔）位置に配置されてもよい。

有利なことに、生体組織の検査領域の複数の光学画像（ＲＡＷ画像）が捕捉される。これは、（適切に取り付けられたカメラを備える、および／またはプロセッサの制御下で）画像収集モジュールを使用して達成され得る。画像収集モジュールは、任意選択で、機械学習アルゴリズムが動作するプロセッサ（または、複数の処理装置が使用される場合、処理装置のうちの少なくとも１つ）から遠隔で配置される。

画像データの複数の画像は、複数の光学的（ＲＡＷ）画像から導出されてもよい。任意選択的に、複数の光学画像のうちの１つまたは複数は、機械学習アルゴリズムへの追加入力として提供される。有益なことに、画像収集モジュールは、例えば、定期的な間隔で、または個々の生体組織（もしくは患者）の所定数の画像捕捉および／もしくは検査後に、較正される。各光学画像は、それぞれの合焦距離で捕捉され得る。合焦距離は同じであってもよい。次いで、光学画像は、特に、複数の画像の各々のスケールが所定のレベルになるように、複数の画像のそれぞれの１つを提供するよう、合焦距離および基準距離に基づいてスケーリングされ得る。各光学画像は、好ましくは、複数の画像内で検査領域の整列を提供するように変換される。追加的または代替的に、各光学画像は、１つもしくは複数のアーチファクトまたは１つもしくは複数の種類のアーチファクトを除去するよう処理され得る。複数の画像は、所定の臓器に対応する複数の画像の一部分を識別するために処理されてもよい。例えば、生体組織が子宮頸部を含む場合、複数の画像は、子宮頸部に対応する複数の画像の一部分を識別するために処理され得る。いくつかの実施形態では、複数の画像を処理して、少なくとも１つの抽出された特徴および／または少なくとも１つの形態学的特性、例えば非定型血管；モザイク現象；および小斑点のうちの１つまたは複数を識別および／または定量化することができる。抽出された特徴および／または形態学的特性は、機械学習アルゴリズムへの追加の入力として提供されてもよい。

複数の画像の各々は、それぞれの画素セットによって規定され、任意選択で、画素セットの各々は、同じ画素構成を有する。好ましい実施形態では、マップデータが取得され、マップデータは、画素構成の各画素についてそれぞれの解析指標を含み、解析指標は、複数の画像から導出される。好ましくは、画素に対する解析指標は、複数の画像から導出される少なくとも１つのパラメータに基づいて生成される。少なくとも１つのパラメータは、任意選択で、所定のスペクトル帯域幅に制限され、複数のパラメータが導出される場合、これらは、第１の所定のスペクトル帯域幅に制限された第１のパラメータと、（第１の所定のスペクトル帯域幅とは異なる）第２の所定のスペクトル帯域幅に制限された第２のパラメータとを備え得る。各パラメータは、画素のデータそのものに基づいて、および／または、複数の画像にわたる画素のデータを線もしくは曲線に当てはめ、曲線からパラメータを判断することによって、決定され得る。各画素についての解析指標は、単一のパラメータまたは複数のパラメータの重み付けされた組み合わせに基づくことができる。少なくとも１つのパラメータは、例えば、複数の画像にわたる画素の最大強度；画素の最大強度に達する時間；および複数の画像にわたる画素の強度の合計もしくは重み付けされた合計、のうちの１つまたは複数を含む。複数の画像にわたる画素の強度の重み付けされた合計は、複数の画像の各々についての捕捉時間、例えばそれらの相対的捕捉時間に基づく重みを使用することができる。これにより、時間にわたる強度の積分（または時間に対する強度の曲線下面積）を計算することができる。マップデータ（または解析指標のうちの少なくとも１つまたは複数）は、機械学習アルゴリズムへの追加入力として提供されてもよい。

いくつかの実施形態では、１つまたは複数の被験者特性が機械学習アルゴリズムへの入力として提供される。各被験者特性は、生体組織が由来する被験者に関連してもよい。例えば、１つまたは複数の被験者特性は、被験者リスク因子（被験者の年齢、被験者の喫煙者ステータス、被験者のＨＰＶワクチン接種ステータス、性交中のコンドームの使用、および被験者の出産経歴のうちの１つまたは複数など）、ならびに被験者臨床検査結果（たとえば、以前の細胞診結果、以前のＨＰＶ検査結果、以前のＨＰＶタイピング検査結果、以前の子宮頸部治療情報、以前の子宮頸癌または前癌のスクリーニングおよび／または診断の履歴のうちの１つまたは複数）、の１つまたは複数を含んでもよい。

次に、さらなる実現例の詳細を説明する。ここで図２を参照すると、本開示による膣鏡検査解析プロセスが概略的に示されている。図の左側に示されるように、プロセスにおける最初のステップは、画像１００の捕捉、準備、および解析である。最初に、元の画像１０２が捕捉され、次いでこれらが処理されて整列画像１０４が生成され、パラメトリック擬似カラーマップ１０６が生成される。これらは、ＡＩ処理ステップ１１０への入力として提供される。非画像データ１２０も、ＡＩ処理ステップ１１０への入力として提供され、非画像データ１２０は、年齢情報１２１；喫煙者ステータス１２２；ＨＰＶステータス１２３；およびＰａｐ検査ステータス１２４を含み得る。本明細書で説明するように、異なるおよび／または追加の入力も可能である。

ＡＩ（特にメインサーバ２０上で動作するアルゴリズム）は、ある意味、画像が捕捉された組織を分類するようにトレーニングされる。異なるデータセットを使用して、ＡＩの異なる局面をトレーニングすることができる。トレーニングに使用されるデータの１つまたは複数のタイプは、典型的には、分類に使用されるデータの１つもしくは複数のタイプのいずれか１つまたは複数を含み得る。一実施形態では、ＡＩは、画像を含むトレーニングデータと、既知の生検領域および組織病理学的結果を有する患者症例の十分に特徴付けられたセットからの関連する分類とに基づいて、子宮頸部上皮内新形成（ＣＩＮ）分類を与えるように構成される。特に、これは、生検された既知の部位を有する症例のセットであり、生検の組織学的結果が有利に既知である。疑わしい領域の専門精査者注釈も利用可能であってもよく、これらはさらなるトレーニングデータとして提供されてもよい。ある実現例では、症例のセットは切除治療を受けており、それらの組織構造の詳細なマッピングが利用可能であり、これは、トレーニングデータとして提供することもできる治療試料当たり複数のセクションを含む。ＡＩは、リスクスケールで子宮頸部を分類することができ、このスケールの異なるレベルは、（例えば、整数または連続スケールでの０〜１、０〜１００または１〜１００のスケールでの）異なるグレードのＣＩＮを有する患者の全体的なリスクに対応する。このスケール上の異なる閾値は、最終性能を微調整するか、またはリスクがない、低い、もしくは高い、の直接的な表示を提供するように選択され得る。別の実施形態では、ＡＩは、分類、例えば正常、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３、ＡＩＳまたは侵襲性癌（複数の疾患タグのうちの１つ）、における結果を直接提供してもよい。

トレーニングデータセットは、臨床試験から提供されてもよい。これらは、（元のおよび整列された形態での）酢酸白化を有する子宮頸部の時限（動的）画像、画像に対するパラメトリック擬似カラーマップを提供するための構成データ、組織学的結果（既知の場合生検位置を伴う）、ならびに患者ベースライン特性（年齢、細胞診、ＨＰＶ、喫煙者ステータス、以前の病歴など）のうちの１つまたは複数を含み得る。患者データセットは、参照画像（酢酸塗布前）およびすべての後続の（酢酸塗布後）時限画像（最大２４）で検査中に捕捉された画像のセットを含むことができる。画像解像度は、１０２４×７６８、１６００×１２００または２８００×２１００であってもよく、他の解像度も可能である。追加的または代替的に、患者データセットは、画像処理アルゴリズムによって整列された画像のセットを含むことができ、これは、参照画像（酢酸塗布前）およびすべての後続の（酢酸塗布後）時限画像（最大２４）を含むことができる。整列された画像解像度は、例えば、１０２４×７６８または２０４８×１５３６とすることができる。パラメトリック擬似カラーマップの典型的な解像度は、例えば１０２４×７６８または２０４８×１５３６である。組織学的結果は、（重症度によって順序付けられた）正常、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３、ＡＩＳ、侵襲性癌のうちの１つであり得る。

組織についての単一の分類をＡＩから出力してもよいが、他の選択肢も可能である。特定の実現例では、ＡＩは、システムで検査された各患者の子宮頸部の画像を解析し、セグメント化することができる。画像は、所定の方法で、または病変もしくは疾患リスクの識別に基づいてセグメント化されてもよく、任意選択で機械学習アルゴリズムの外で行われてもよい。次いで、子宮頸部の各セグメントは、（上述のように）異なるＣＩＮのグレードについて推定されたリスクについてリスクスケールで分類されるか、またはいくつかの別個の疾患状態の１つからの分類を提供するよう分類される。任意選択で、ＡＩは、判断された形態学的特性の存在に従って、各画素および／またはセグメントを分類してもよい。これは、さらなる分類を決定するために使用され得るが、ユーザに出力として提供される必要はない、ＡＩの中間出力であり得る。

ＡＩセグメント化および分類結果は、ＡＩの出力として確率論的「ヒートマップ」（パラメトリック擬似カラーマップ）として表示され得る。これは、図２にＡＩ出力１３０として示される。次いで、ＡＩから出力されるヒートマップ（これは、上記のように画像を処理することによって生成されるパラメトリック擬似カラーマップとは異なり、ＡＩへの入力として使用され得る）は、有利なことに、検査中に（例えば、ローカルプロセッサ１５を介して）システムオペレータに対して、子宮頸部画像上にオーバーレイとしてグラフィック形式で表示されて、読取および臨床的判断を容易にする。ヒートマップの解像度は、ＡＩへの入力として提供されるスケーリングされた画像と同じであってもよい（例えば、１０２４×７６８または２０４８×１５３６など）。これ（または同様の画像処理）は、ＡＩヒートマップ出力を、検査の間に捕捉された子宮頸部の画像上にオーバーレイすること（例えば、後処理）を可能にし得る。そのような「ヒートマップ」は、（生検部位同定または切除治療のためのような）有意な臨床的有用性を有し得る。

代替的に、ＡＩセグメント化および分類結果は、ＡＩの出力として、予め規定された閾値を超える分類スコアを達成する領域を示すバウンディングボックスとして表示されてもよい。例えば、これは、リスクがないか、低いか、もしくは高いかを示すものとしてでもよく、または例えば、正常；ＣＩＮ１；ＣＩＮ２；ＣＩＮ３；ＡＩＳ；もしくは侵襲性癌の疾患タグと直接的に関連するものであってもよい。

それが生成する各結果について、ＡＩモジュールは、付随する信頼区間またはグラフィカル形式もしくは数値形式であり得る正解率の別の尺度を計算することもできる。

本開示で説明するアプローチは、正解率および受信機動作特性（ＲＯＣ）曲線性能を向上させる。これは、ＡＵＣ（「曲線下面積」）として測定することができ、これは、ＲＯＣ曲線が偽陽性率に対して真陽性率をプロットし、したがって、感度および特異性の組合された性能を示すからである。ＡＩの性能は、検査した各患者について、ＡＩ分類をグラウンドトゥルース（組織学的結果）と比較することによって判断することができ、その比較を、真陽性（ＴＰ）；偽陽性（ＦＰ）；真陰性（ＴＮ）；および偽陰性（ＦＮ）のうちの１つとして特徴付けることができる。比較のための主なメトリックは、全体的な正解率、感度および特異性であり得る。二次測定は、陽性および陰性の予測値を含み得る。

上記で論じた一般的な意味を参照すると、いくつかの実施形態では、機械学習アルゴリズムは、複数の分類のうちの１つを組織の１つまたは複数のセグメントの各々に割り当てるように構成されると考えられる。組織の１つまたは複数のセグメントは、任意選択で、例えば機械学習アルゴリズムを使用して、画像データから識別される。代替的に、セグメントは、画像データの各画像における画素の数に基づいてもよい。出力画像が生成され（および任意選択で表示され）、画像データに基づく生体組織の検査領域を示し、組織の複数のセグメントの各々に割り当てられた分類を示してもよい。例えば、これはヒートマップの形式をとることができる。したがって、組織の複数のセグメントは、生体組織の検査領域のサブ領域を表すことができる。これらのサブ領域は、１つもしくは複数のマスク、特徴抽出、および／または特定のサブ領域に割り当てられた共通の分類に基づいて、規定され、ならびに他のサブ領域から線引きされ得る。これは、サブ領域の形状およびサイズが、この場合、組織にわたって適用される特徴および／または分類によって決定され得ることを意味する（したがって、サイズまたは形状が均一でなくてもよい）。したがって、改善された性能は、（全体的な組織分類とは対照的に）組織の異なる部分に個々の分類を適用する能力に基づいて測定され得る。

分類は、組織の１つまたは複数のセグメントに割り当てられる分類に基づいて（または、重み付けされた合計など、複数のセグメントに割り当てられる分類の組み合わせから）、組織（全体または全体的）に割り当てることができる。追加または代替として、組織（全体または全体的）に割り当てられる分類は、機械学習アルゴリズムとは異なるアルゴリズム、例えば異なる並列モデルに基づき得る。分類は離散的であってもよいし、連続範囲上の値のスケール（例えば、確率として、ある条件が存在するなどのリスクレベルまたはスコア）によって定義されてもよい。

機械学習アルゴリズム（または、コンピュータシステムから遠隔であってもよい第２のコンピュータシステム上で動作可能なバージョン）は、複数の他の生体組織（これは、組織の検査領域への病理鑑別剤の局所塗布が一過性の光学的効果を引き起こす期間中、異なる時間に捕捉され得る）の各々について、それぞれの複数の画像およびそれぞれの割り当てられた分類に基づいてトレーニングされ得る。他の生体組織の数は、いくつかの場合においては、少なくとも１００，５００，１０００または５０００であってもよい。任意選択で、組織に対するユーザ決定分類またはデータベース分類が、さらなるトレーニングのために機械学習アルゴリズムに提供されてもよい。これは、既知の組織学的結果を有する生検もしくは高度に訓練された医療専門家の臨床評価の一方または両方に基づくことができる。そのような分類は、手動で提供されてもよく（例えば、臨床医、医療専門家、または技術的専門家によって直接）、および／またはそれらは、入力データセットの一部を形成し得る、例えば患者記録のデータベースから自動的に引き出されてもよい。その場合、分類は、データベース（またはデータセットが部分的もしくは完全に導出された異なるデータベース）に手動で入力されていてもよい。

いくつかの実施形態では、コンピューティングシステムの第１のプロセッサで動作可能な第１の機械学習アルゴリズムを使用して、組織に分類を割り当てることができる。場合によっては、第１のプロセッサは、画像収集モジュールにローカルであり、画像収集モジュールは、生体組織の検査領域の複数の光学的（ＲＡＷ）画像を捕捉するために使用され、そこから複数の画像が導出される。任意選択で、コンピューティングシステムの第２のプロセッサで動作する第２の（異なる）機械学習アルゴリズムを使用して、組織に分類を割り当てることもできる。追加的または代替的に、第２の機械学習アルゴリズム（機械学習アルゴリズムのあるバージョンとして上記で説明される）は、例えば、第１の機械学習アルゴリズムによって識別される１つまたは複数の分類を使用してトレーニングされてもよい。第２のプロセッサは、画像収集モジュールから遠隔であることが好ましく、ある場合には、第１のプロセッサも遠隔であってもよい。第２の機械学習アルゴリズムは、有利なことに、第１の機械学習アルゴリズムと比較して異なる構造および／またはパラメータ化を有する。いくつかの実施形態では、第１のプロセッサにおいて割り当てられた分類は、第２のプロセッサへの入力として提供されてもよい。

一実施形態では、第２の機械学習アルゴリズムは、組織に対するユーザ決定分類またはデータベース分類を（例えば、上述の通り、既知の組織構造を有する生検から）第２の機械学習アルゴリズムに提供することによって、トレーニングされてもよい。しかしながら、第１の機械学習アルゴリズムは、任意選択で、組織に対するユーザ決定分類またはデータベース分類を第１の機械学習アルゴリズムに提供することによってトレーニングされない。このようにして、トレーニングなしで（迅速および／またはより複雑度の低い）機械学習アルゴリズムを提供し（すなわち固定アルゴリズム）、例えば、追加データが提供されていることに基づいて、連続的な動的トレーニング（増分学習）が提供された（より低速および／またはより高度な）機械学習アルゴリズムを提供することができる。例えば連続動的トレーニングによれば、第２の機械学習アルゴリズムは、１つまたは複数の生体組織の複数の検査領域の各々に対して、（コンピュータシステム上で動作する機械学習アルゴリズムに提供される）検査領域の複数の画像；（その検査領域について実施される）１つもしくは複数の生検位置；（コンピュータシステム上で動作する）第１の機械学習アルゴリズム（すなわち、ローカルアルゴリズム）によって割り当てられた組織の複数のセグメントの各々に対する複数の分類；および組織の組織病理学的結果、のうちの１つまたは複数を与えられることができる。トレーニングのない機械学習アルゴリズムは、画像捕捉に対してローカルであってもよく、および／または連続動的トレーニングを伴う機械学習アルゴリズムは、画像捕捉に対して遠隔であってもよい。連続動的トレーニングのプロセスは、バッチで有利に実行される。有利なことに、このプロセスは、複数の別個の画像捕捉装置（各々が、それぞれのローカルマシン学習アルゴリズムを伴う）からのデータを組み込んでもよい。第１の機械学習アルゴリズム（固定アルゴリズム）は、時々更新されてもよい。

次に、実験結果について説明する。実施された実験は、図３を参照して説明され、実験システムのための方法を詳述するフローチャートが概略的に示されている。このフローチャートは、基本的な品質基準（焦点が充分に合っている画像、完全な画像シーケンス、有意なアーチファクトがない、および既知の生検結果など）を満たす患者データセットの選択のステップの後の作業パイプラインを示す。まず、組織上にラベルを正確に配置するために生検処置の画像および映像を精査することにより、トレーニング用画像の注釈付け２００（生検領域のマーキングおよびそれらへの疾患ラベルの付加）を行った。この後、対応する画像マスクの抽出を含むマスク生成２１０が続いた。次いで、パッチの抽出２２０を１７時点にわたって行った。特徴抽出２３０は、各生検領域から、および別途すべてのパッチについて、特徴を抽出することを含む。次いで、データインピュテーション技法２４０を実行して、すべての欠測値を考慮した。ディープラーニングスキームのステップ２５０は、各パッチについての確率の計算のために３つの異なる機械学習スキームのセットアップおよびトレーニングを含む。最後に、ヒートマップ生成２６０が、テストケースに対するディープラーニングスキームの出力から生じる。テストケースは、図３の方法によって記載されるものと同様の方法で準備された。唯一の相違点は、モデルが生検領域の（すなわち注釈２００における）疾患ステータスを知らず、代わりにそれを予測しなければならなかったことである。

データセットは、DYSIS Medical Limitedにより製造されたデジタル膣鏡を使用し、動的スペクトルイメージング（ＤＳＩ）マッピングを用いて、３９６個の独立した生検を有する２２２人の患者を含む既存の臨床試験から得た。生検の位置は既知であり、生検は、視覚的に選択された生検、ＤＳＩマップに基づく生検、および臨床医に正常に見えた領域からのランダムな生検を含んだ。各患者のデータセットは、１７個の画像を含んでおり、それらは、参照画像（酢酸白化前）および標準時点における１６個の後続画像を含んだ。入力として使用される画像は、移動（変位、収縮など）を補償するために位置合わせ（整列）された後である。

結果の二値分類のために、生検をそれらの組織学的グレード付けに従って、「陰性」クラスとして正常／低グレード−ＮＬＧ（陰性およびＣＩＮ１結果を含む）、および「陽性」クラスとして高グレード−ＨＧ（ＣＩＮ２、ＣＩＮ３、ＡＩＳ、侵襲性癌）の２つのクラスに分けた。これは、臨床的に意味のある分類であり、大部分の膣鏡検査研究で使用される分類と一致する。

データセットを、患者によって、トレーニングセットについて８０％、検証について１０％、および独立テスト実施について１０％に、手動で分割した。この分割のために、検証セットおよびテストセット内で同様の患者分布を作成するために、患者当たりの生検の数ならびに低グレード生検および高グレード生検のパーセンテージを検討した。残りの患者はトレーニングに使用した。トレーニングセットは１７２人の患者および３０６の生検を含み、検証は２５人の患者および４６の生検を含み、テストセットは２５人の患者および４４の生検を含んだ。

各画像の生検領域は個々に注釈を付けた（空間的にマーキングし、疾患のグレードでラベル付けした）。各生検は、その組織病理学的グレードに従って、正常、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３、ＡＩＳまたは侵襲性癌として分類された。

注釈に続いて、各生検の対応するマスク（すなわち、画像領域）を抽出した。これらのマスクに基づいて、パッチを、異なる時点について、１７個の整列された画像にわたって抽出した。パッチは、まず、異なるサイズ１６×１６画素、３２×３２画素および６４×６４画素で、ならびに８画素，１６画素，３２画素および６４画素の異なるストライドで抽出され、どの組み合わせが最良に機能したかを探索できた。

各パッチから、局所的な色、勾配、およびテクスチャに基づく多数の手作業特徴を抽出し、機械学習アルゴリズムにおいて入力として適用した（Tao Xu et al, Pattern Recognit. 2017 Mar; 63: 468-475; Kim E, Huang X. "A data driven approach to cervigram image analysis and classification", Color Medical Image analysis, Lecture Notes in Computational Vision and Biomechanics. 2013;6:1-13; and Song D, Kim E, Huang X, et al. "Multi-modal entity coreference for cervical dysplasia diagnosis", IEEE Trans on Medical Imaging, TMI. 2015;34(1):229-245を参照されたい）。これは、各パッチおよび時点について合計１，３７４個の特徴をもたらした。抽出された特徴は、値の大きさ、単位、および範囲において非常に変化し、したがって、それらはすべて０−１スケールで正規化された：

特徴抽出後、データインピュテーション（G. Welch, G. Bishop, "An Introduction to the Kalman Filter", SIGGRAPH 2001 Course 8, 1995参照）を適用して、ぼやけたパッチおよび不整列のパッチ上の幾つかの欠けている特徴を補償した。インピューテーション法は別途検証された。データは、患者ごとに、生検領域から抽出されたパッチの各々について（インピュテーションされたものを含む）抽出された特徴の各々の値に対する各パッチからの時点の行列を提供するように、構造化された。

ここで、解析に用いた機械学習モデルについて説明する。上記のデータは、３つの異なる機械学習分類器：ランダムフォレスト（ＲＦ）；全結合ニューラルネットワーク（ｆＮＮ）；およびロング・ショート・ターム・メモリ・ニューラル・ネットワーク（ＬＳＴＭ、つまり再起型ニューラルネットワークＲＮＮの一種）への入力として使用された。

次に図４を参照すると、公知のランダムフォレスト分類モデルが概略的に示されている。ランダムフォレストまたはランダム決定フォレストは、トレーニング時に多数の決定木を構築し、個々の木のクラス（分類）または平均予測（回帰）のモードであるクラスを出力することによって動作する、分類、回帰、および他のタスクのためのアンサンブル学習法である（Ho, Tin Kam, "Random Decision Forests", Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, QC, 14-16 August 1995. pp. 278-282を参照されたい）。ランダム決定フォレストは、それらのトレーニングセットに過剰に当てはまる決定木の傾向を修正する。ランダムフォレスト（ＲＦ）分類器を実現するために、scikit-learn Pythonライブラリおよび１５０個の推定器（決定木）を用いた。

ここで図５を参照すると、公知の人工ニューラルネットワーク（ＡＮＮ）アーキテクチャが概略的に示されている。ＡＮＮ（ニューラルネットワークまたはＮＮとも呼ばれる）は、脳などの生体神経系が情報を処理する方法に触発された情報処理パラダイムである。鍵となる要素は情報処理システムの新規な構造である。それは、多数の高度に相互接続された処理要素（ニューロン）が一体となって働いて特定の問題を解決している。ＮＮは、人々のように、例によって学習する。ＮＮは、学習プロセスを通して、パターン認識やデータ分類などの特定の用途に対して構成される。生体系における学習は、ニューロン間に存在するシナプス接続に対する調整を伴う。ＮＮについても同様である。

複雑なデータまたは不正確なデータから意味を導き出す能力を有するニューラルネットワークは、パターンを抽出し、人間または他のコンピュータ技術のいずれかが気付くには複雑すぎる傾向を検出するために使用することができる。トレーニングされたニューラルネットワークは、それが解析するために与えられた情報のカテゴリーにおける「専門家」と考えることができる。次いで、この専門家を使用して、対象の新たな状況を与えられた投影を提供し、「what if（仮に）」質問に答えることができる。ニューラルネットワークの場合、オープンソース機械学習フレームワークTensorFlow (RTM) Pythonを用いた。ハイパーパラメータチューニングおよび小グリッド探索の後、各々３層および５０単位を有し、出力層として２単位を有するソフトマックス層を有する全結合ネットワークを用いた。

ＮＮは、そのような分類に有用なツールであり得るが、人間はあらゆる状況において思考を無から開始しないことが認識されている。従来のＮＮは、以前のトレーニングからの情報を使用することはできず、それは欠点と思われる。再帰型ニューラルネットワーク（ＲＮＮ）は、この問題に対処する。それらは、それらの中にループを有するネットワークであり、情報が「持続」することを可能にする。ＲＮＮは、各々がメッセージを後続のものに渡す、同じネットワークの複数のコピーと考えることができる。

次に図６を参照すると、公知のロング・ソート・ターム・メモリ（ＬＴＳＭ）基本アーキテクチャが概略的に示されている。ＬＳＴＭは、長期依存性を学習することが可能な特別な種類のＲＮＮである。ＬＳＴＭは、長期依存性問題を回避するように明示的に設計される。ＬＳＴＭの場合、分類器の実現にはＡＮＮと同じプロセスが用いられる。より具体的には、ハイパーパラメータ最適化およびグリッド探索の後、最良のモデルは、各々２０単位を有する２つのＬＳＴＭ層と、出力層として２単位を有する用いるソフトマックスとからなることが見出された。

加えて、３つの分類器のすべての可能な組み合わせの各パッチに対する確率の平均を使用して、一連のアンサンブル分類スキームを開発した。具体的には、生検に対する２５人のテスト患者について、ＲＦ＋ＮＮ＋ＬＳＴＭ、ＲＦ＋ＮＮ、ＲＦ＋ＬＳＴＭ、およびＮＮ＋ＬＳＴＭについて、４つの組み合わせをテストした。

一連の加重平均確率スキームも開発された。より具体的に言えば、各アンサンブルスキームに従って、組み合わされた検証確率で、「浅いニューラルネットワーク」をトレーニングし、検証確率は上記の各素モデル（ＲＦ、ＮＮおよびＬＳＴＭ）から個々に抽出された。ディープＮＮとは対照的に、浅いＮＮは、隠れ層を１つだけ有する。

アーキテクチャは、まず、画像マスクのサイズおよび特徴を考慮してどのアプローチが最もよく機能するかを評価するために、異なる組み合わせのパッチサイズおよびストライドで試行された。パッチサイズ３２×３２と８画素のストライドとの組み合わせが、最良に機能することが見出され、したがって、すべてのモデルの微調整および結果の生成のために採用された。

図７Ａ〜図７Ｄおよび図８Ａ〜図８Ｄを参照して、テストされたアプローチの各々の性能について説明し、例えば、処理された生体組織のヒートマップを示す。テストセット内の画像マスク（すなわち生検領域）について３つの基本的な分類器（ＲＦ、ＮＮおよびＬＳＴＭ）によって計算されるパッチレベル確率を使用して、示される対応するヒートマップを構築した。モデルは、先にこれらのケースを「見」ず、それらの結果を知らなかった。ヒートマップの各画素に割り当てられた確率は、それを含むすべてのパッチにおけるそれの値の平均であった。暗示的に、２５個のテストケースのうちの２つのテストケースに対するヒートマップが、各々、元の検査からの対応するＤＳＩマップと共に（図７Ａおよび図８Ａ）、３つの異なる機械学習技術（図７Ｂ、図７Ｃ、図７Ｄおよび図８Ｂ、図８Ｃ、図８Ｄ）を使用して、提示される。

分類の臨床評価では、各方法による生検領域毎の予測を２つのクラス：ＮＬＧ（正常または低グレード）およびＨＧ（高グレード）に分類した。これは、視覚評価によってケースバイケースで行われ、生検ヒートマップが０．５より大きい確率（すなわち、赤色、黄色、または白色）を含む場合、この生検についての予測はＨＧとして分類され、そうでなければ、ＮＬＧと見なされた。

最初に図７Ａを参照すると、領域３０１は、高グレード（ＨＧ）結果を有する生検領域を示し、領域３０２は、陰性／低グレード（ＮＬＧ）結果を有する生検領域を示す（生検組織のステータスは組織学的グレード付けによって確認された）。生検領域（領域３０１および３０２）内の、より小さい円注釈は、元の検査からの臨床医注釈を表す。ＤＳＩマップは、領域３０１における領域を潜在的なＨＧとして強調表示せず、領域３０２を正常／低グレードとして正確に分類した。図７Ｂを参照すると、上述したように、ＲＦアルゴリズムの出力を有するヒートマップが示されている。高確率領域３０３は、領域３０１と同じ領域において識別されるが、領域３０２と同じ組織領域である領域３０４には何も現れない。図７Ｃを参照すると、上述したように、ＮＮアルゴリズムの出力を有するヒートマップが示されている。高確率領域３０５は、領域３０１と同じ組織領域において識別され、低確率領域３０６は、領域３０２と同じ組織領域において識別される。図７Ｄを参照すると、上述のように、ＬＳＴＭアルゴリズムの出力を有するヒートマップが示されている。より明確な高確率領域３０７が、領域３０１と同じ組織領域に識別され、より明確な低確率領域３０８が、領域３０２と同じ組織領域に現れる。これは、標準的なＤＳＩアルゴリズムに対する３つの機械学習アルゴリズムの性能の改善を示し、なぜなら、それらは、ＨＧ生検結果の領域を正確に強調表示し、ＮＬＧ生検結果の領域を正確に予測したからである。

図８Ａを参照すると、両方とも高グレード（ＨＧ）であった２つの生検領域３１０および３１１が示されている。生検領域３１０および３１１内の（またはそれらと交差する）、より小さい円の注釈は、元の検査からの臨床医注釈を表す。生検組織のステータスは組織学的グレード付けによって確認された。ＤＳＩマップは、２つの領域のうちの１つ（生検領域３１０）を潜在的なＨＧとして強調表示したが、領域３１１をＨＧとして強調表示しなかった。図８Ｂを参照すると、上述したように、ＲＦアルゴリズムの出力を有するヒートマップが示されている。ここで、高確率領域３１２は、ＨＧ生検領域の一方と同じ領域で識別され、いくらかより低い確率領域３１３は、ＨＧ生検領域の他方と同じ領域で識別される。図８Ｃを参照すると、上述したように、ＮＮアルゴリズムの出力を有するヒートマップが示されている。高確率領域３１４は、ＨＧ生検領域の一方と同じ領域で識別され、低確率領域３１５は、ＨＧ生検領域の他方と同じ領域で識別される。図８Ｄを参照すると、上述したように、ＬＳＴＭアルゴリズムの出力を有するヒートマップが示されている。高確率領域３１６は、ＨＧ生検領域の一方と同じ領域で識別され、高確率領域３１７もＨＧ生検領域の他方の領域と同じ領域に現れる。したがって、ＬＳＴＭアルゴリズムの性能の改善が、ＲＦアルゴリズムおよびＮＮアルゴリズムならびに元のＤＳＩアルゴリズムに対して見られる。

症例が比較的少数であること、およびデータセットの性質が不均衡であることを考えると、１つの俯瞰メトリックで性能を要約するために、「平均正解率」を用いることにより、ａ）生検およびｂ）患者を正しく正常／低グレード対高グレードとして分類する。平均正解率（以下、単に正解率という）は、各クラスにおいて正しく分類された症例の数の平均である。これは、事実上、感度と特異性との間の平均であり、感度および特異性のみよりもより全体的な俯瞰を提供する。

生検レベル解析（すなわち、各生検は、別個の単位として考慮され、解析される）では、ＲＦおよびＮＮ分類器の正解率は８１％であったが、ＬＳＴＭでは８４％であった。比較のために、同じデータセット上で、元のＤＳＩマップは５７％の正解率を達成した。生検領域の結果に基づく患者レベルの解析では、各患者は、少なくとも１つの生検がＨＧであるとき、ＨＧと見なされた。ＲＦおよびＮＮは７７％の正解率を達成し、ＬＳＴＭは７０％を達成したが、元のＤＳＩマップの正解率は５９％であった。

平均アンサンブルスキームの生検レベル解析の正解率は、７７％（ＲＦ＋ＮＮ）〜８３％（ＲＦ＋ＬＳＴＭ、ＮＮ＋ＬＳＴＭ、およびＲＦ＋ＮＮ＋ＬＳＴＭ）の範囲であった。患者レベルの解析については、すべてのスキームの正解率は８１％であった。加重平均アンサンブルスキームの生検レベル解析の正解率は、７７％（ＲＦ＋ＮＮ＋ＬＳＴＭ）、７９％（ＲＦ＋ＬＳＴＭ）、８６％（ＲＦ＋ＮＮ）および８８％（ＮＮ＋ＬＳＴＭ）であった。患者レベルの解析については、スキームの正解率は、７７％（ＲＦ＋ＮＮ＋ＬＳＴＭおよびＲＦ＋ＮＮ）ならびに８１％（ＲＦ＋ＬＳＴＭおよびＮＮ＋ＬＳＴＭ）であった。

この概念証明プロジェクトにおいて開発された機械学習モデルは、組織領域を正常／低グレード対高グレードとしてマッピングおよび分類することにおいて既存のＤＳＩマップよりも全体的に改善された性能を達成し、生検部位選択および臨床管理判断の支援をさらに改善するために使用することができる臨床適用例を実証する。

モデルのトレーニングおよびテストのために、より大きなデータセットを含めることは、有益であり得る。特徴およびパッチサイズ効果の異なる選択も考慮され得る。各患者に利用できるさらなるデータおよびリスク要因は、画像の元の収集における膣鏡検査照明輝度設定および患者の年齢、スクリーニング結果（細胞診、ｈｒＨＰＶ、ＨＰＶ１６、ＨＰＶ１８）、ならびに喫煙者ステータスである。これらは、性能をさらに向上させ得る、モデルへの入力としても使用されてもよい。

大きなデータセットでトレーニングされるとき、モデルは、生検領域だけでなく子宮頸部全体についてヒートマップを計算し、アーチファクトの存在にも適応するよう、使用されてもよい。

上記の実験においてモデルのトレーニングに使用された特徴は、各時点から別々に抽出され、それらの時間依存性はネットワークによって拾われると仮定された。別の実施形態では、抽出する特徴の設計は、特徴が時間にわたる特性の関数であるように、時間要素を含み得る。

畳み込みニューラルネットワーク（ＣＮＮ）の、独立的な、または例えばＲＮＮとＣＮＮとの組み合わせなど、アンサンブルスキームの一部としての使用も、可能である。このスキームの鍵となるモジュールは、畳み込み層に再帰型接続を導入する再帰型畳み込み層（ＲＣＬ）であり得る。これらの接続により、ネットワークは、入力が静的であり、各単位がその隣接単位によって影響を受けるにも関わらず、経時的に進化することができる。別の例は、患者について分類確率を生成する入力としての単一の時点画像とともにＣＮＮを使用することである。これは、次いで、画像シーケンスと一緒に追加の入力として別のニューラルネットワーク分類器（例えば、ＮＮまたはＲＮＮ）へ供給され得る正確な結果を生成することができることが示されている。さらに別の例は、別個のＣＮＮを使用して、シーケンス内の各個々の画像を別々に評価し、それらの個々の出力の組み合わせを別のニューラルネットワーク、たとえばＲＮＮまたはＬＳＴＭに入力して最終出力を提供することである。ＣＮＮの利用は、上述したように、手作業の特徴の抽出を必要としない場合があり、なぜならば、特徴はネットワーク自体によって抽出され得るからである。

特定の実施形態をここで説明してきたが、当業者は、様々な修正および変更が可能であることを理解するであろう。例えば、様々なスキームで異なる種類の画像処理および機械学習分類器を含むことが考えられる。上述したように、本開示は、一般に、酢酸白化プロセスを用いた子宮頸部組織の検査を対象とするが、病理鑑別剤を用いた他の生体組織の検査および／または分類のために実施されてもよい。例えば、希酢酸を用いることが好ましいが、特定の目的のために、代わりに他の種類の酸が使用されてもよい。この技術は、分子診断を用いた分類にも適している。好ましい実施形態はインビボで捕捉された画像を使用するが、インビトロで捕捉された画像を使用する実現例も考慮され得る。いくつかの実施形態では、患者についての不完全なデータセットが、ＡＩへの入力として提供されてもよい。

ローカルプロセッサおよび遠隔プロセッサの特定の構成が開示されてきたが、当業者は、異なるプロセッサ構成が可能であることを理解するであろう。例えば、１つまたは複数のプロセッサを、画像捕捉モジュールにローカルにのみ提供してもよい。代替的に、１つまたは複数のプロセッサを、画像捕捉モジュールに対して遠隔でのみ提供してもよい。コンピュータクラウドベースの解析または非クラウドベースの解析を採用してもよい。特に、第１の機械学習アルゴリズムが固定され、第２の機械学習アルゴリズムが継続的なトレーニングを（上述の態様で）有する状態で、第１の機械学習アルゴリズムおよび第２の機械学習アルゴリズムが画像捕捉モジュールに対して遠隔で提供される実現例が考えられ得る。

異なる種類のニューラルネットワーク構造または機械学習アルゴリズムが想定され得る。機械学習アルゴリズムの構造は、ユニモーダル（画像データのみを入力とする）またはマルチモーダル（画像データと非画像データとの両方を入力とする）とすることができる。ＡＩの結果（すなわち出力画像）は、上述の確率的ヒートマップとして表示されるが、他の出力（データ形式または視覚化）も可能である。

各パッチから、局所的な色、勾配、およびテクスチャに基づく多数の手作業特徴を抽出し、機械学習アルゴリズムにおいて入力として適用した（Tao Xu et al, "Multi-feature based benchmark for cervical dysplasia classification evaluation", Pattern Recognit. 2017 Mar; 63: 468-475; Kim E, Huang X. "A data driven approach to cervigram image analysis and classification", Color Medical Image analysis, Lecture Notes in Computational Vision and Biomechanics. 2013;6:1-13; and Song D, Kim E, Huang X, et al. "Multi-modal entity coreference for cervical dysplasia diagnosis", IEEE Trans on Medical Imaging, TMI. 2015;34(1):229-245を参照されたい）。これは、各パッチおよび時点について合計１，３７４個の特徴をもたらした。抽出された特徴は、値の大きさ、単位、および範囲において非常に変化し、したがって、それらはすべて０−１スケールで正規化された：

画像収集モジュール１０は、検査領域、特に子宮頸部の光学画像を捕捉して収集するための膣鏡撮像ユニットである。本発明の主な実施形態は、膣鏡システムに関し、そのようなシステムに適用可能な有意かつ明確な利点が存在するが、本明細書で説明される実現例は、生体組織の検査および／または撮像のための他のタイプのシステムに使用され得ることが理解されるであろう。画像収集モジュール１０は、ローカルプロセッサ１５によって制御され、ローカルプロセッサ１５は、例えば、制御および／またはディスプレイを含むユーザインターフェースを含み得る。素性データベース３０は、患者素性データを保存するために使用される。検査中、ローカルプロセッサは、第１の素性インターフェース３２を使用して素性データベース３０とインターフェースして、検査されている患者の素性データを検索することができる。検査中に収集された画像は、第１の画像データインターフェース４２を介して撮像データベース４０に格納される。患者識別子は、素性データベース３０に記憶される情報と相互参照することを可能にするために患者画像とともに記憶されてもよい。

Claims (31)

1. コンピューティングシステムを使用して生体組織を分類するための方法であって、
   コンピューティングシステムが、生体組織の検査領域の複数の画像を含む画像データを受信することを備え、前記複数の画像の各々は、前記組織の前記検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、異なる時間に捕捉され、前記方法はさらに、
   前記コンピューティングシステム上で動作する機械学習アルゴリズムへの入力として前記受信された画像データを提供することを備え、前記機械学習アルゴリズムは、前記組織の複数のセグメントの各々に複数の分類のうちの１つを割り当てるように構成される、コンピューティングシステムを使用して生体組織を分類するための方法。
2. 前記生体組織は子宮頸部を含む、請求項１に記載の方法。
3. 前記機械学習アルゴリズムは、ニューラルネットワークまたはディープニューラルネットワークを含む、請求項１または２に記載の方法。
4. 前記複数の画像のうちの少なくとも１つの画像は、前記期間の開始時、前記過渡的な光学的効果が生じる前に捕捉され、および／または
   前記複数の画像のうちの少なくともいくつかは、前記病理鑑別剤の局所塗布期間中、所定の持続時間の間隔で捕捉される、先行する請求項のいずれか１項に記載の方法。
5. 前記検査領域は、前記組織の前記検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、光放射に曝される、先行する請求項のいずれか１項に記載の方法。
6. 前記病理鑑別剤は酸を含む、先行する請求項のいずれか１項に記載の方法。
7. 画像収集モジュールを使用して、前記生体組織の前記検査領域の複数の光学画像を捕捉することをさらに備え、前記画像データの前記複数の画像は、前記複数の光学画像から導出される、先行する請求項のいずれか１項に記載の方法。
8. 前記複数の画像の各々は、前記複数の画像内の前記検査領域の整列を提供するように変換されたそれぞれの初期画像から導出される；
   前記複数の画像の各々は、１つまたは複数のアーチファクトを除去するよう処理されたそれぞれの初期画像から導出される；および
   前記機械学習アルゴリズムへの入力として提供される画像データは、前記複数の画像の各々に対して、それぞれの初期画像から導出された複数のパッチを含む；のうち１つまたは複数が満たされる、先行する請求項のいずれか１項に記載の方法。
9. 前記生体組織は子宮頚部を含み、前記方法はさらに、前記子宮頸部に対応する複数の画像の一部分を識別するために前記複数の画像を処理することを備える、先行する請求項のいずれか１項に記載の方法。
10. 前記複数の画像の各々は、それぞれの画素セットによって規定され、前記画素セットの各々は、同じ画素構成を有し、前記方法はさらに、
    前記コンピューティングシステムがマップデータを取得することを備え、前記マップデータは、前記画素構成の各画素に対するそれぞれの解析指標を含み、前記解析指標は、前記複数の画像から導出され、前記方法はさらに、
    前記マップデータを前記機械学習アルゴリズムへの入力として提供することを備える、先行する請求項のいずれか１項に記載の方法。
11. 画素についての前記解析指標は、前記複数の画像から導出される少なくとも１つのパラメータに基づいて生成され、前記少なくとも１つのパラメータは、前記複数の画像にわたる前記画素の最大強度、前記画素の前記最大強度に達する時間、および、前記複数の画像にわたる前記画素の強度の合計もしくは重み付けされた合計、のうちの１つまたは複数を含む、請求項１０に記載の方法。
12. 前記少なくとも１つのパラメータのうちのあるパラメータは、所定のスペクトル帯域幅に限定される；
    前記少なくとも１つのパラメータの各パラメータは、前記複数の画像にわたる前記画素についてのデータを線または曲線に当てはめ、前記線または曲線から前記少なくとも１つのパラメータを決定することによって決定される；および
    各画素についての解析指標は、前記少なくとも１つのパラメータのうちの複数のパラメータの重み付けされた組み合わせに基づく；のうちの１つまたは複数である、請求項１１に記載の方法。
13. 前記複数の画像を処理して、少なくとも１つの形態学的特性および／または少なくとも１つの抽出された特徴を識別する、先行する請求項のいずれか１項に記載の方法。
14. 前記少なくとも１つの形態学的特性および／または抽出された特徴を前記機械学習アルゴリズムへの入力として提供することさらに備える、請求項１３に記載の方法。
15. 前記機械学習アルゴリズムは、ニューラルネットワークを含み、
    前記ニューラルネットワークは、畳み込みニューラルネットワーク、全結合ニューラルネットワークおよび再帰型ニューラルネットワークの１つもしくは組み合わせを含み、ならびに／または、
    前記ニューラルネットワークはマルチモーダルである、先行する請求項のいずれか１項に記載の方法。
16. １つまたは複数の被験者特性を提供することをさらに備え、各被験者特性は、前記機械学習アルゴリズムへの入力として、前記生体組織が由来する被験者に関連する、先行する請求項のいずれか１項に記載の方法。
17. 前記１つまたは複数の被験者特性は、被験者リスク因子、被験者事前医療履歴情報、および被験者臨床検査結果のうちの１つまたは複数を含む、請求項１６に記載の方法。
18. 前記被験者リスク因子は、前記被験者の年齢、前記被験者の喫煙者ステータス、前記被験者の以前のＨＰＶワクチン接種ステータス、前記被験者の性交中のコンドームの使用に関する情報、および前記被験者の出産経歴のうちの１つもしくは複数を含み、ならびに／または、前記被験者臨床検査結果は、以前の細胞診結果、以前のＨＰＶ検査結果、以前のＨＰＶタイピング検査結果、以前の子宮頸部治療情報、および以前の子宮頸癌もしくは前癌のスクリーニングおよび／もしくは診断の履歴のうちの１つもしくは複数を含む、請求項１７に記載の方法。
19. 前記組織の前記複数のセグメントに割り当てられた前記分類に基づいて、および／または前記機械学習アルゴリズムとは異なるアルゴリズムに基づいて、前記複数の分類のうちの１つを組織全体に割り当てることをさらに備える、先行する請求項のいずれか１項に記載の方法。
20. 前記複数の分類は、連続範囲における値のスケールによって規定され、および／または
    前記複数の分類は、複数の疾患タグによって規定される、先行する請求項のいずれか１項に記載の方法。
21. 前記連続範囲における値のスケールは確率を示す、請求項２０に記載の方法。
22. 前記複数の分類は、少なくとも１つの形態学的特性の存在および疾患状態の一方または両方を示す、先行する請求項のいずれか１項に記載の方法。
23. 出力画像を生成し、前記画像データに基づく前記生体組織の前記検査領域を示し、前記組織の前記複数のセグメントの各々に割り当てられた前記分類を示すことをさらに備える、先行する請求項のいずれか１項に記載の方法。
24. 複数の他の生体組織の各々に対するそれぞれの複数の画像およびそれぞれの割り当てられた分類に基づいて前記機械学習アルゴリズムをトレーニングすること、
    前記組織についてのユーザ決定された分類またはデータベース分類を前記機械学習アルゴリズムまたは第２のコンピュータシステム上で動作する前記機械学習アルゴリズムのあるバージョンに提供することによって前記機械学習アルゴリズムをトレーニングすること、および
    連続的な動的トレーニングを前記機械学習アルゴリズムまたは第２のコンピュータシステム上で動作する前記機械学習アルゴリズムの前記あるバージョンに提供すること、の１つまたは複数をさらに備える、先行する請求項のいずれか１項に記載の方法。
25. 前記複数の分類のうちの１つを、前記コンピューティングシステムの第１のプロセッサで動作する第１の機械学習アルゴリズムを使用して前記組織に割り当てることと、
    前記複数の分類のうちの１つを、前記コンピューティングシステムの第２のプロセッサで動作する第２の機械学習アルゴリズムを使用して前記組織に割り当てることと、
    前記組織に対するユーザ決定分類またはデータベース分類を前記第２の機械学習アルゴリズムに提供することによって前記第２の機械学習アルゴリズムをトレーニングすることとをさらに備え、前記第１の機械学習アルゴリズムは、前記組織に対するユーザ決定分類またはデータベース分類を前記第１の機械学習アルゴリズムに提供することによってトレーニングされない、先行する請求項のいずれか１項に記載の方法。
26. 前記第１の機械学習アルゴリズムは固定アルゴリズムであり、前記方法は前記第１の機械学習アルゴリズムを更新することをさらに備える、請求項２５に記載の方法。
27. コンピューティングシステム上で動作させられると、任意の先行する請求項の方法を実行するように構成される、コンピュータプログラム。
28. 組織の分類のために動作するコンピューティングシステムであって、
    生体組織の検査領域の複数の画像を含む画像データを受信するように構成された入力を備え、前記複数の画像の各々は、前記組織の前記検査領域への病理鑑別剤の局所塗布が過渡的な光学的効果を引き起こす期間中、異なる時間に捕捉され、前記コンピューティングシステムはさらに、
    前記画像データに基づいて前記組織の複数のセグメントの各々に複数の分類のうちの１つを割り当てるように構成された機械学習アルゴリズムを動作させるように構成されたプロセッサを備え、前記機械学習アルゴリズムはニューラルネットワークを含む、コンピューティングシステム。
29. 前記生体組織の検査領域の複数の光学画像を捕捉するように構成される画像収集モジュールをさらに備え、前記受信された画像データは前記画像収集モジュールによって捕捉された前記複数の光学画像に基づく、請求項２８に記載のコンピューティングシステム。
30. 前記画像収集モジュールは前記機械学習アルゴリズムが動作するプロセッサから遠隔に位置し、または
    前記プロセッサは複数の処理装置を含み、各処理装置は前記機械学習アルゴリズムの一部を動作させるように構成され、前記画像収集モジュールは前記複数の処理装置のうちの少なくとも１つから遠隔に位置する、請求項２９に記載のコンピューティングシステム。
31. 請求項１から２６のいずれか１項に記載の方法を実施するように構成される、請求項２８から３０のいずれか１項に記載のコンピューティングシステム。

Images