JP2022505205A - 腸の病理学のための画像スコアリング - Google Patents

Abstract

本明細書に開示されるのは、腸の病理に対する画像スコアリングのコンピュータ実装方法、システム及びコンピュータプログラム製品（コンピュータ可読ストレージ媒体）の実施形態である。一実施形態は、少なくとも１つのプロセッサを介して、画像化デバイスの出力を受信することを含む。画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含み得、少なくとも１つの機械学習アルゴリズムを介して、複数の画像フレームのうちの少なくとも１つの画像フレームを複数の関心領域に分解する。エッジ値が所定のしきい値を超えることを決定することによって、少なくとも１つの関心領域が定義され得る。少なくとも１つのプロセッサは、各関心領域のエッジ値に少なくとも部分的に基づいて第１のスコアを自動的に割り当て、画像フレームのセットを自動的にシャッフルすることができる。
【選択図】図１

Description

所与の腸障害または疾患（腸疾患）について、所与の腸疾患の診断及びモニタリングは、所与の患者において腸疾患の症状または特徴がどのように及びどこで発現するかに応じて、様々な困難をもたらす。特定の腸疾患は、専門家でさえ確実にかつ一貫して診断することが困難であることが証明されている。いくつかの例としては、クローン病、セリアック病、過敏性腸症候群、及び潰瘍性大腸炎などが挙げられる。診断及びモニターにおけるこのような困難は、個々の患者のみでなく医療分野にもさらなる問題を導き得、所与の腸疾患の特定の態様を診断及びモニタリングする正確かつ信頼できる方法がなければ、所与の腸疾患の治療の有効性を判定することは、さらに困難であり、主観的な測定による広範な試行錯誤が必要であり、標準的なケアがなく、かつ成行きに任せ得る一貫性のない結果となる。

内視鏡技術の進歩により、典型的には、例えば、外科手術または腹腔鏡検査などのより侵襲的な手技を用いずに見られなかった器官内の写真画像の検索が可能になった。しかし、これまで研究者及び開業医が利用できなかったより多くの画像を撮影するための撮像機器を使用しても、より正確な診断及びモニターを行うには多くの障害が残っている。例えば、内視鏡検査の新しい方法では、アーチファクトを含む一部の画像、または確実に診断の信頼性の基礎となる十分な情報が含まれていない可能性のある低品質の画像が生成され得る。また、腸疾患の症状または特徴は、所与の画像または影響を受けた器官に関して所与の画像が撮影された場所に応じてわずかな方法でのみ表現され得、診断及びモニターにおいて他の矛盾が生じ得る。腸内科医（消化器内科医）または他の医療専門家が腸の画像をレビューするとき、多くの場合、同じ画像をレビューしているにもかかわらず、異なるレビューアが異なる結論に達する。同じレビューアでさえ、異なる状況または異なる時間に同じ画像をレビューしたときに、異なる結論に達する。

本明細書に提供されるのは、本明細書においてさらに記載する腸の病理に対する画像スコアリングを達成するための、システム、装置、製造品、方法、及び／またはコンピュータプログラム製品（非一時的コンピュータ可読媒体）の実施形態、及び／またはそれらの組み合わせ及びサブコンビネーションの例である。

一例の実施形態は、コンピュータ実施方法を含み得、本方法は、少なくとも１つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも１つのプロセッサを介して、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、少なくとも１つのプロセッサを介して、指定された範囲内の第１のスコアを有する各画像フレームに第２のスコアを自動的に割り当てることであって、第２のスコアは、所与の特徴の重症度に対応する、割り当てることと、少なくとも１つのプロセッサを介して、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することと、を含む。

一例の実施形態は、上記の方法を含み得、配置することが、第１のスコア及び第２のスコアのうちの少なくとも１つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または、異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けること、のうちの少なくとも１つを含む。

一例の実施形態では、上記の方法を含み得、少なくとも１つのプロセッサによって、画像フレームのセットの第１の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、少なくとも１つのプロセッサによって、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、をさらに含む。

一例の実施形態は、上記の方法を含み得、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータは、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも１つの画像プロパティのうちの少なくとも１つを含む、解析することと、少なくとも部分的にメタデータに基づいて、少なくとも１つのプロセッサによって、画像フレームのセットから画像フレームの少なくとも１つを自動的に選択することと、をさらに含む。

一例の実施形態は、上記の方法を含み得、選択することは、所与の画像フレームについて、少なくとも１つのプロセッサによって、第１のスコアまたは第２のスコアが所定のしきい値を満たしていないか否か；視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か；タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か；または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも１つを自動的に決定することと；決定に基づいて、少なくとも１つのプロセッサによって、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。

一例の実施形態は、上記の方法を含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。

一例の実施形態は、上記の方法を含み得、所与の画像フレームが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも１つのスコアの値の変化によるサンプリングのうちの少なくとも１つによって選択される。

一例の実施形態は、上記の方法を含み得、消化器官が食道、胃、小腸、及び大腸のうちの少なくとも１つを含む。

一例の実施形態は、上記の方法を含み得、画像フレームのセットは、画像生成が可能な少なくとも１つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも１つを含む。

一例の実施形態は、上記の方法を含み得、少なくとも１つの画像化デバイスは、経口カメラ（ｉｎｇｅｓｔｉｂｌｅ ｃａｍｅｒａ）、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも１つのデバイスを含む。

一例の実施形態は、上記の方法を含み得、少なくとも１つのスコアに基づいて、少なくとも１つのプロセッサによって、所与の患者の消化器官に関する疾患の診断を自動的に生成することをさらに含む。

一例の実施形態は、上記の方法を含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。

一例の実施形態は、疾患の進行または疾患の改善をモニターするため、または治療の効果を定量化するために（例えば、重症度スコアを追跡することによって）、撮像システム（例えば、内視鏡、ビデオカプセル内視鏡など）を用いて実行される上記の方法を含み得る。

一例の実施形態は、少なくとも１つのプロセッサによって、少なくとも１つの小腸腸症、例えば、セリアック病、熱帯性スプルー、薬物誘発性腸症、タンパク質喪失性腸症、または異生物性腸症の重症度を定量化することを含み得る。

一例の実施形態は、上記の方法を含み得、疾患は、クローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも１つを含む。

一例の実施形態は、上記の方法を含み得、画像フレームのセットが複数の均質な画像を含む。

一例の実施形態は、上記の方法を含み得、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも１つの人工ニューラルネットワークのうちの少なくとも１つに対応するアルゴリズムに従って、少なくとも第１のスコア及び第２のスコアの割り当てが実行される。

一例の実施形態は、少なくとも１つのプロセッサを介して、所与の患者の病状、病歴、患者背景（例えば、年齢、身長、体重、性別など）、栄養習慣及び／または臨床検査に関する情報を受け取ることと、少なくとも１つのプロセッサを介して、その情報をアルゴリズムへの入力として渡すことと、をさらに含む、上記の方法を含み得る。

一例の実施形態は、上記の方法を含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記の方法を含み得、フィードフォワードニューラルネットワークが、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダのうちの少なくとも１つに対応する。

一例の実施形態では、コンピュータ実装方法を含み得、本方法は、少なくとも１つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、少なくとも１つのプロセッサによって画像フレームのセットの画像フレーム内の少なくとも１つの関心領域を自動的に抽出することであって、少なくとも１つの関心領域は、少なくとも１つのプロセッサによってエッジ値が所定のしきい値を超えていることを決定することによって定義される、抽出することと、少なくとも１つのプロセッサによって、少なくとも部分的にエッジ値に基づいて、少なくとも１つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも１つのスコアを決定するために、少なくとも１つのプロセッサを介して、少なくとも１つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも１つのスコアは、消化器官または所与の特徴の重症度に影響を与える所与の特徴を示すために画像フレームの情報の少なくとも１つを表す、入力することと、少なくとも１つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも１つのプロセッサを介して、少なくとも１つのスコアを画像フレームに自動的に割り当てることと、を含む。

一例の実施形態は、少なくとも１つのプロセッサによって、少なくとも１つの関心領域から少なくともいくつかの色データを自動的に削除すること、または、少なくとも１つのプロセッサによって、少なくとも１つの関心領域をグレースケールに自動的に変換することのうちの少なくとも１つをさらに含む、上記の方法を含み得る。

一例の実施形態は、少なくとも１つのプロセッサによって、少なくとも１つの関心領域の少なくとも１つの画像属性を自動的に正規化することをさらに含む、上記の方法を含み得る。

一例の実施形態は、上記の方法を含み得、少なくとも１つの画像属性は、強度を含む。

一例の実施形態は、上記の方法を含み得、画像フレーム内の関心領域は、画像フレームの総面積の２５パーセントを超えない。

一例の実施形態は、上記の方法を含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。

一例の実施形態は、上記の方法を含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記の方法を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも１つに対応する。

一例の実施形態では、上記の方法を含み得、少なくとも１つのプロセッサによって、画像フレームのセットの追加の画像フレーム内の少なくとも１つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも１つのプロセッサを介して、少なくとも１つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも１つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも１つのプロセッサを介して、少なくとも１つの追加のスコアを画像フレームのセットの追加の画像フレームに自動的に割り当てることと、さらに含む。

一例の実施形態は、上記の方法を含み得、少なくとも１つのスコアは、少なくとも１つの決定木によって決定される。

一例の実施形態は、上記の方法を含み得、少なくとも１つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも１つの一部である。

一例の実施形態は、上記の方法を含み得、少なくとも１つの決定木は、少なくとも１つの分類器を含む。

一例の実施形態は、少なくとも部分的に少なくとも１つの決定木に基づいて、少なくとも１つのプロセッサを介して少なくとも１つの回帰を生成することをさらに含む、上記の方法を含み得る。

一例の実施形態は、上記の方法を含み得、少なくとも１つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、ベイズ予測、またはそれらの組み合わせのうちの少なくとも１つを含む。

一例の実施形態は、非一時的コンピュータ実装方法を含み得、本方法は、少なくとも１つのプロセッサを介して、第１の機械学習（ＭＬ）アルゴリズムへの入力のために、画像フレームの第１のセット及び対応する第１のメタデータセットを受信することと、少なくとも１つのプロセッサを介して、画像フレームの第１のセット及び対応する第１のメタデータセットを第１のＭＬアルゴリズムに入力することと、少なくとも１つのプロセッサを介して、第１のＭＬアルゴリズムからの出力として、画像フレームの第２のセット及び対応する第２のメタデータセットを生成することであって、画像フレームの第２のセットは、画像フレームの第１のセットのタグ付けされたバージョン及び画像フレームの第１のセットの修正されたバージョンの少なくとも１つに対応し、第２のメタデータセットは、画像フレームの第２のセットの少なくとも１つの画像フレームに対応する少なくとも１つのスコアを含む、生成することと、少なくとも１つのプロセッサを介して、画像フレームの第２のセット及び第２のメタデータセットを第２のＭＬアルゴリズムに入力することと、を含み、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも１つを生成する。

一例の実施形態は、上記の方法を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、異なるカテゴリのＭＬアルゴリズムに属する。

一例の実施形態は、上記の方法を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、ＭＬアルゴリズムの単一のカテゴリの別個のアルゴリズムである。

一例の実施形態は、上記の方法を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、同じＭＬアルゴリズムの異なる反復またはエポックを含む。

一例の実施形態は、上記の方法を含み得、画像フレームの第１のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの追加の画像フレームとを含む。

一例の実施形態では、上記の方法を含み得、少なくとも１つのプロセッサによって、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、少なくとも１つのプロセッサによって、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのセットのサブセットを、少なくとも１名の他の患者の消化器官に対応する少なくとも１つの追加の画像フレームと共に自動的に選択することのうちの１つをさらに含み、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの画像フレームと散在するようになる。

一例の実施形態は、上記の方法を含み得、第２のＭＬアルゴリズムは、第１のＭＬアルゴリズム及び第３のＭＬアルゴリズムのうちの少なくとも１つの入力として使用される出力を生成するように構成される。

一例の実施形態は、コンピュータ実装方法を含み得、本方法は、少なくとも１つのプロセッサを介して、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも１つのプロセッサ及び少なくとも１つの機械学習（ＭＬ）アルゴリズムを介して、複数の画像フレームの少なくとも１つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも１つの関心領域は、少なくとも１つのプロセッサによってエッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、少なくとも１つのプロセッサを介して、各関心領域のエッジ値に少なくとも部分的に基づいて、第１のスコアを自動的に割り当てることと、少なくとも１つのプロセッサを介して、画像フレームのセットを自動的にシャッフルすることと、少なくとも１つのプロセッサを介して、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む、

一例の実施形態は、分解が、少なくとも部分的に出力に基づいて、少なくとも１つのプロセッサを介して、少なくとも１つのＭＬアルゴリズムを訓練することをさらに含む上記の方法を含み得る。

一例の実施形態は、上記の方法を含み得、分解することは、少なくとも１つのプロセッサを介して、画像フレームのセットの編成された提示に第２のスコアを割り当てることをさらに含む。

一例の実施形態は、メモリ、及び少なくとも１つのプロセッサを含むシステムを含み得、プロセッサは、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、指定された範囲内の第１のスコアを有する各画像フレームに第２のスコアを自動的に割り当てることであって、第２のスコアは、所与の特徴の重症度に対応する、割り当てることと、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することと、を含む操作を実行するように構成されている。

一例の実施形態は、上記のシステムを含み得、配置することが、第１のスコア及び第２のスコアのうちの少なくとも１つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けることのうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、画像フレームのセットの第１の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、を実行するようにさらに構成されている。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータが、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも１つの画像プロパティのうちの少なくとも１つを含む、解析することと、少なくとも部分的にメタデータに基づいて、画像フレームのセットから画像フレームの少なくとも１つを自動的に選択することと、を実行するようにさらに構成されている。

一例の実施形態は、上記のシステムを含み得、選択することは、所与の画像フレームについて、第１のスコアまたは第２のスコアが所定のしきい値を満たしていないか否か；視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か；タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か；または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも１つを自動的に決定することと；決定に基づいて、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。

一例の実施形態は、上記のシステムを含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。

一例の実施形態は、上記のシステムを含み得、所与の画像フレームは、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも１つのスコアの値の変化によるサンプリングのうちの少なくとも１つによって選択される。

一例の実施形態は、上記のシステムを含み得、消化器官は、食道、胃、小腸、及び大腸のうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、画像フレームのセットは、画像生成が可能な少なくとも１つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、画像化デバイスは、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも１つのデバイスを含む。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、少なくとも１つのスコアに基づいて、所与の患者の消化器官に関する疾患の診断を自動的に生成するようにさらに構成される。

一例の実施形態は、上記のシステムを含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。

一例の実施形態は、上記のシステムを含み得、疾患は、クローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、画像フレームのセットが複数の均質な画像を含む。

一例の実施形態は、上記のシステムを含み得、少なくとも第１のスコア及び第２のスコアの割り当ては、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも１つの人工ニューラルネットワークのうちの少なくとも１つに対応するアルゴリズムに従って実行される。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダのうちの少なくとも１つに対応する。

一例の実施形態は、メモリ、及び少なくとも１つのプロセッサを含むシステムを含み得、プロセッサは、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの画像フレーム内の少なくとも１つの関心領域を自動的に抽出することであって、少なくとも１つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、抽出することと、少なくとも部分的にエッジ値に基づいて、少なくとも１つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも１つのスコアを決定するために、少なくとも１つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも１つのスコアは、消化器官または所与の機能の重症度に影響を与える所与の特徴を示すための画像フレームの情報の少なくとも１つを表す、入力することと、少なくとも１つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも１つのスコアを画像フレームに自動的に割り当てることと、を含む操作を実行するように構成されている。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、少なくとも１つの関心領域から少なくともいくつかの色データを自動的に除去すること、または、少なくとも１つの関心領域を自動的にグレースケールに変換することのうちの少なくとも１つを実行するようにさらに構成されている。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、少なくとも１つの関心領域の少なくとも１つの画像属性を自動的に正規化するようにさらに構成される。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの画像属性は、強度を含む。

一例の実施形態は、上記のシステムを含み得、画像フレーム内の関心領域は、画像フレームの総面積の２５パーセントを超えない。

一例の実施形態は、上記のシステムを含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記のシステムを含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも１つに対応する。

一例の実施形態が、上記のシステムを含み得、少なくとも１つのプロセッサは、画像フレームのセットの追加の画像フレーム内の少なくとも１つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも１つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも１つの追加の関心領域を入力することに応答した人工ニューラルネットワークの出力に基づいて、画像フレームのセットの追加の画像フレームに少なくとも１つの追加のスコアを自動的に割り当てることと、を実行するようにさらに構成されている。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのスコアは、少なくとも１つの決定木によって決定される。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも１つの一部である。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの決定木は、少なくとも１つの分類器を含む。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、少なくとも部分的に少なくとも１つの決定木に基づいて、少なくとも１つの回帰を生成するようにさらに構成されている。

一例の実施形態は、上記のシステムを含み得、少なくとも１つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、またはベイズ予測のうちの少なくとも１つを含む。

一例の実施形態では、メモリと、少なくとも１つのプロセッサと、を含むシステムを含み得、プロセッサは、第１の機械学習（ＭＬ）アルゴリズムへの入力のために、画像フレームの第１のセット及び対応する第１のメタデータセットを受信することと、画像フレームの第１のセット及び対応する第１のメタデータセットを第１のＭＬアルゴリズムに入力することと、第１のＭＬアルゴリズムからの出力として、画像フレームの第２のセット及び対応する第２のメタデータセットを生成することであって、画像フレームの第２のセットは、画像フレームの第１のセットのタグ付けされたバージョン及び画像フレームの第１のセットの修正されたバージョンの少なくとも１つに対応し、第２のメタデータセットは、画像フレームの第２のセットの少なくとも１つの画像フレームに対応する少なくとも１つのスコアを含む、生成することと、画像フレームの第２のセット及び第２のメタデータセットを第２のＭＬアルゴリズムに入力することと、を含む操作を実行するように構成され、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも１つを生成する。

一例の実施形態は、上記のシステムを含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、異なるカテゴリのＭＬアルゴリズムに属する。

一例の実施形態は、上記のシステムを含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、ＭＬアルゴリズムの単一のカテゴリの別個のアルゴリズムである。

一例の実施形態は、上記のシステムを含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、同じＭＬアルゴリズムの異なる反復またはエポックを含む。

一例の実施形態は、上記のシステムを含み得、画像フレームの第１のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの追加の画像フレームとを含む。

一例の実施形態は、上記のシステムを含み得、少なくとも１つのプロセッサは、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのサブセットを、少なくとも１名の他の患者の消化器官に対応する少なくとも１つの追加の画像フレームと共に自動的に選択することを実行するようにさらに構成され、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの画像フレームと散在するようになる。

一例の実施形態は、上記のシステムを含み得、分解することは、画像フレームのセットの編成された提示に第２のスコアを割り当てることをさらに含む。

一例の実施形態は、メモリ、及び少なくとも１つのプロセッサを含むシステムを含み得、プロセッサは、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも１つの機械学習（ＭＬ）アルゴリズムを介して、複数の画像フレームの少なくとも１つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも１つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、各関心領域のエッジ値に少なくとも部分的に基づいて、第１のスコアを自動的に割り当てることと、画像フレームのセットを自動的にシャッフルすることと、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む操作を実行するように構成されている。

一例の実施形態は、上記のシステムを含み得、分解することは、少なくとも部分的に出力に基づいて、少なくとも１つのＭＬアルゴリズムを訓練することをさらに含む。

一例の実施形態は、上記のシステムを含み得、分解することは、画像フレームのセットの編成された提示に第２のスコアを割り当てることをさらに含む。

一例の実施形態は、少なくとも１つのコンピューティングデバイスによって実行されたときに、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、指定された範囲内の第１のスコアを有する各画像フレームに第２のスコアを自動的に割り当てることであって、第２のスコアは、所与の特徴の重症度に対応する、割り当てることと、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、配置することが、第１のスコア及び第２のスコアのうちの少なくとも１つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けることのうちの少なくとも１つを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの第１の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、さらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータは、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも１つの画像プロパティのうちの少なくとも１つを含む、解析することと、少なくとも部分的にメタデータに基づいて、画像フレームのセットから画像フレームの少なくとも１つを自動的に選択することと、をさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、選択することは、所与の画像フレームについて、第１のスコアまたは第２のスコアが所定のしきい値を満たしていないか否か；視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か；タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か；または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも１つを自動的に決定することと；決定に基づいて、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、所与の画像フレームが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも１つのスコアの値の変化によるサンプリングのうちの少なくとも１つによって選択される。

一例の実施形態は、消化器官が食道、胃、小腸、及び大腸のうちの少なくとも１つを含む、上記の非一時的コンピュータ可読媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームのセットは、画像生成が可能な少なくとも１つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも１つを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像化デバイスは、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも１つのデバイスを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作は、少なくとも１つのスコアに基づいて、所与の患者の消化器官に関する疾患の診断を自動的に生成することをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、疾患がクローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも１つを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームのセットが複数の均質な画像を含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも１つの人工ニューラルネットワークのうちの少なくとも１つに対応するアルゴリズムに従って、少なくとも第１のスコア及び第２のスコアの割り当てが実行される。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダに対応する。

一例の実施形態は、少なくとも１つのコンピューティングデバイスによって実行されたときに、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する、受信することと、画像フレームのセットの画像フレーム内の少なくとも１つの関心領域を自動的に抽出することであって、少なくとも１つの関心領域は、エッジ値が所定のしきい値を超えることを決定することによって定義される、抽出することと、少なくとも部分的にエッジ値に基づいて、少なくとも１つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも１つのスコアを決定するために、少なくとも１つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも１つのスコアは、消化器官または所与の機能の重症度に影響を与える所与の特徴を示すための画像フレームの情報の少なくとも１つを表す入力することと、少なくとも１つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも１つのスコアを画像フレームに自動的に割り当てることと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも１つの関心領域から少なくともいくつかの色データを自動的に除去すること、または、少なくとも１つの関心領域を自動的にグレースケールに変換することのうちの少なくとも１つをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも１つの関心領域の少なくとも１つの画像属性を自動的に正規化することをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの画像属性は、強度を含む。

一例の実施形態は、画像フレーム内の関心領域が画像フレームの総面積の２５パーセントを超えない、上記の非一時的コンピュータ可読媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも１つを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも１つに対応する。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの追加の画像フレーム内の少なくとも１つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも１つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも１つの追加の関心領域を入力することに応答した人工ニューラルネットワークの出力に基づいて、画像フレームのセットの追加の画像フレームに少なくとも１つの追加のスコアを自動的に割り当てることと、をさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つのスコアは、少なくとも１つの決定木によって決定される。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも１つの一部である。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの決定木は、少なくとも１つの分類器を含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも部分的に少なくとも１つの決定木に基づいて、少なくとも１つの回帰を生成することをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも１つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、またはベイズ予測のうちの少なくとも１つを含む。

一例の実施形態は、少なくとも１つのコンピューティングデバイスによって実行されたときに、第１の機械学習（ＭＬ）アルゴリズムへの入力のために、画像フレームの第１のセット及び対応する第１のメタデータセットを受信することと、画像フレームの第１のセット及び対応する第１のメタデータセットを第１のＭＬアルゴリズムに入力することと、第１のＭＬアルゴリズムからの出力として、画像フレームの第２のセット及び対応する第２のメタデータセットを生成することであって、画像フレームの第２のセットは、画像フレームの第１のセットのタグ付けされたバージョン及び画像フレームの第１のセットの修正されたバージョンの少なくとも１つに対応し、第２のメタデータセットは、画像フレームの第２のセットの少なくとも１つの画像フレームに対応する少なくとも１つのスコアを含む、生成することと、ならびに画像フレームの第２のセット及び第２のメタデータセットを第２のＭＬアルゴリズムに入力することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも１つを生成する。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、異なるカテゴリのＭＬアルゴリズムに属する。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、ＭＬアルゴリズムの単一のカテゴリの別個のアルゴリズムである。

一例の実施形態は、上記の非一時コンピュータ可読媒体を含み得、第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムは、同じＭＬアルゴリズムの異なる反復またはエポックを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームの第１のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの追加の画像フレームとを含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのサブセットを、少なくとも１名の他の患者の消化器官に対応する少なくとも１つの追加の画像フレームと共に自動的に選択することのうちの１つをさらに含み、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの画像フレームと散在するようになる。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第２のＭＬアルゴリズムは、第１のＭＬアルゴリズム及び第３のＭＬアルゴリズムのうちの少なくとも１つの入力として使用される出力を生成するように構成される。

一例の実施形態は、少なくとも１つのコンピューティングデバイスによって実行されたときに、少なくとも１つのコンピューティングデバイスに、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも１つの機械学習（ＭＬ）アルゴリズムを介して、複数の画像フレームの少なくとも１つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも１つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、各関心領域のエッジ値に少なくとも部分的に基づいて、第１のスコアを自動的に割り当てることと、画像フレームのセットを自動的にシャッフルすることと、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、分解することは、少なくとも部分的に出力に基づいて、少なくとも１つのＭＬアルゴリズムを訓練することをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、分解することは、画像フレームのセットの編成された提示に第２のスコアを割り当てることをさらに含む。

一実施形態は、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの１つ以上の画像フレーム及び値または一次元スコアの少なくとも１つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習（ＭＬ）アルゴリズムを監視することと、とを含む方法を含み得る。

一実施形態は、メモリと、少なくとも１つのプロセッサと、を含むシステムを含み得、プロセッサは、メモリに通信可能に結合され、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの１つ以上の画像フレーム及び値または一次元スコアの少なくとも１つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習（ＭＬ）アルゴリズムを監視することと、とを含む操作を実行するように構成されている。

一例の実施形態は、少なくとも１つのプロセッサによって実行されたときに、少なくとも１つのプロセッサに、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの１つ以上の画像フレーム及び値または一次元スコアの少なくとも１つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習（ＭＬ）アルゴリズムを監視することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。

一例の実施形態は、コンピュータ実装方法を含み得、本方法は、少なくとも１つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも１つのプロセッサを介して、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、を含む。

一例の実施形態は、上記の方法を含み得、少なくとも１つのプロセッサを介して、第２のスコアを画像フレームに割り当てることをさらに含み、第２のスコアは、所与の特徴の重症度に対応する。

一例の実施形態は、上記の方法を含み得、第２のスコアを使用して、少なくとも１つのプロセッサを介して、疾患の悪化または疾患の改善をモニターすることをさらに含む。

一例の実施形態では、上記の方法を含み得、消化器官の一部に対する疾患の影響を定量化するために、少なくとも１つのプロセッサを介して、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することと、さらに含む。

一例の実施形態は、メモリと、少なくとも１つのプロセッサと、を含むシステムを含み得、プロセッサは、メモリに通信可能に結合され、少なくとも１つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも１つのプロセッサを介して、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、含む操作を実行するように構成されている。

一例の実施形態は、上記のシステムを含み得、操作することは、少なくとも１つのプロセッサを介して、第２のスコアを画像フレームに割り当てることをさらに含み、第２のスコアは、所与の特徴の重症度に対応する。

一例の実施形態は、上記のシステムを含み得、操作することは、第２のスコアを使用して、少なくとも１つのプロセッサを介して、疾患の悪化または疾患の改善をモニターすることをさらに含む。

一例の実施形態は、上記のシステムを含み得、操作することは、消化器官の一部に対する疾患の影響を定量化するために、少なくとも１つのプロセッサを介して、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することをさらに含む。

一例の実施形態は、少なくとも１つのプロセッサによって実行されたときに、少なくとも１つのプロセッサに、少なくとも１つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも１つのプロセッサを介して、画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、第１のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。

一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、少なくとも１つのプロセッサを介して、第２のスコアを画像フレームに割り当てることをさらに含み、第２のスコアは、所与の特徴の重症度に対応する。

一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、少なくとも１つのプロセッサを介して、第２のスコアを使用して、疾患の悪化または疾患の改善をモニターすることをさらに含む。

一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、消化器官の一部に対する疾患の影響を定量化するために、少なくとも１つのプロセッサを介して、第１のスコアまたは第２のスコアの少なくとも１つに従って画像フレームのセットを自動的に配置することをさらに含む。

発明の概要または要約のセクションではなく、以下の発明を実施するための形態のセクションは、請求項を解釈するために使用されることを意図していることを理解されたい。発明の概要または要約のセクションは、すべてではないが、バッテリ寿命延長のために本明細書に記載の強化されたバッテリ管理技術の１つ以上の例示的な実施形態を説明し得、したがって、いかなる方法でも添付の特許請求の範囲を限定することを意図するものでない。

本明細書に開示される強化された技術の他のシステム、方法、特徴、及び利点は、以下の詳細な説明及び本明細書に出願される対応する図面を検討することにより、当業者に明らかになるか、または明らかであろう。そのようなすべての追加のシステム、方法、機能、及び利点がこの発明を実施するための形態に含まれ、以下の特許請求の範囲によって保護されることが意図される。

添付の図面は本明細書に組み込まれ、明細書の一部を形成する。

いくつかの実施形態による、本明細書に開示される強化された画像処理技術のいくつかの態様を実施する方法を示すフローチャートである。 いくつかの実施形態による、治療、チャレンジ、または別の刺激に応答して、所与の器官の疾患特徴の予想される変化を捕捉するための方法を示すフローチャートである。 いくつかの実施形態による、強化された画像処理技術を実装するシステムを示すブロック図である。 いくつかの実施形態による、本明細書に記載の画像フレーム内の少なくとも１つのスニペットを識別する及び／または選択するための方法を示すフローチャートである。 いくつかの実施形態による、本明細書に記載の画像フレーム内の少なくとも１つのスニペットを識別するかまたは選択するための方法を示すフローチャートである。 いくつかの実施形態による、別の機械学習（ＭＬ）アルゴリズムを使用して機械学習アルゴリズムを訓練するための方法を示すフローチャートである。 いくつかの実施形態による、画像フレーム内の単一のスニペットの図である。 いくつかの実施形態による、画像フレーム内の複数のスニペットの図である。 様々な実施形態を実施するのに有用な例示的なコンピュータシステムである。 いくつかの実施形態による、相対位置と相関する関数に関して、すでにスコアリングされた画像フレームのスコアを再割り当てする例である。 いくつかの実施形態による、画像フレームの加重選択のための例示的な方法である。 いくつかの実施形態による、関心領域の選択を伴う画像変換及び再配向を行うための例示的な方法である。 いくつかの実施形態による、後続のスコアリングにおけるバイアスを減少させるための画像スコアリング及びフレームの提示のための例示的な方法である。

図面において、同一の参照番号は、まったく同一のまたは類似の要素を示す。追加的に、一般に、参照番号の左端の数字（複数可）は、参照番号が最初に現れる図を特定する。

本明細書で提供されるのは、腸の病理（腸疾患）の画像スコアリングのための、システム、装置、デバイス、方法及び／またはコンピュータプログラム製品の実施形態、及び／またはそれらの組み合わせ及びサブコンビネーションである。本明細書に開示された強化された技術に従って画像をスコアリングすることにより、上記の背景技術セクションに記載した困難を軽減または解決することが可能である。画像スコアリングのこれらの強化された技術は、ヒトのレビューア（例えば、胃腸科医、他の医療専門家）による診断及びモニターの信頼性を改善するのみでなく、レビュー、モニター、診断、またはこれらの任意の組み合わせの自動化された技術の基礎としても機能する。

この発明の概要で言及されているいくつかの非限定的な例では、特定のタイプの腸疾患、医療専門家（例えば、胃腸科医）の仕事、及び診断またはモニターが、本明細書に記載の強化された技術のいくつかを説明する目的で非限定的な使用症例として含まれ得る。本明細書に記載の強化された技術は、これにより、胃腸病学などの医療分野における新しい標準治療を確立するのに有用であり得る。現在の医師の診断及びモニターは、個々の木において広範な植物病理学の影響を測定するために森に足を踏み入れる環境科学者に類似している可能性がある場合、本明細書に記載の強化された技術は、航空画像を使用して森全体の地図を作成することに類似していると見なすことができ、全体として森内の病理の全体的な範囲を評価するための包括的な数値メトリックが可能になる。

しかし、医療診断、観察、及びモニターに加えて、画像スコアリングのこれらの強化された技術はまた、本明細書に記載されている非限定的な例よりも幅広い用途を有し得る。これらの強化された技術の要素は、いくつか例を挙げると、コンピュータビジョン及び機械学習などの人工知能などの他の分野の態様も改善する。

スコアリング及びサンプリングの一般的なアプローチ
いくつかの実施形態では、スコアは、フレームごとに画像フレームについて計算され得る。そのようなスコアは、例えば、画像フレームが全体として、画像フレーム内に示される所与の器官における所与の疾患の特徴の強度などの他の特徴を決定することに関して明確に示し得る特徴に関してどれほど情報的であるかを示し得る。例えば、画像フィルタを適用することにより、少なくとも１つのコンピュータプロセッサ（プロセッサ９０４など）は、画像フレームの自動セグメンテーションを実行して、レビューア（ヒトまたは人工知能）の能力に寄与するかまたはその能力を損なう可能性がある画像フレームの領域を決定するように構成され得、これにより、画像フレームを評価して、潜在的な疾患の重症度またはその特徴など、画像フレームの他の態様のスコアリングを行う。

一次元数値スケールを使用して、所与の画像フレームの情報性を決定し得る。特定の使用例では、小腸の内壁を描写した画像フレームを分析してセリアック病の特徴の重症度を判断する場合、画像フレームが腸壁の粘膜面を示しているか、または画像フレームは、例えば、粘膜のエッジ（粘膜面のひだの頂上）を示しているかに応じて、異なる情報が決定できる可能性がある。一般に、絨毛は面よりもエッジの画像においてより目に見える可能性があるため、主にエッジを示す画像は、主に面を示す画像よりも情報的であり得る。絨毛の可視性は、例えばセリアック病の重症度を観察するために使用され得る絨毛萎縮の決定を容易にし得る。

粘膜面及び粘膜エッジの両方の画像領域を示す画像フレームは、一方のみを示す画像フレームよりもさらに情報的であり得る。他の極端な例では、面またはエッジの特性を示さない画像フレーム（例えば、光の不足、焦点の欠如、画像内のアーチファクトの妨害など）は、重症度の自動スコアリングのために、少なくともコンピュータビジョンごとに、重大な疾患の特徴を判断するには有用でない場合がある。

画像フレームをしきい値と比較するため、及び／または疾患の重症度など、後のスコアリングに使用する画像について他の任意の決定を行うために、数値スコアを分析し、調整することができる。例えば、画像フレームのセットのうち、特定のしきい値を超える情報性スコアを有する任意の画像フレームは、疾患の特徴の重症度をスコアリングするために別のスコアリングモジュールに渡され得る。そのような数値計算及び比較を実行するために、一次元数値スケール上の点が、特定の特性及びそれらの組み合わせに割り当てられ得る。

スケール上の実際の値は、いくつかの実施形態では個別であるか、またはその代わりに他の実施形態では連続的であり得、割り当てられた特性値は単なるガイダンスである。一実施形態では、情報スコアは４点スケールで定義することができる。（所与の疾患に関して）明確な情報がない画像フレームの場合、情報スコアはゼロまたはゼロに近い場合がある。主に粘膜の面の画像を示す画像フレームの場合、情報スコアは１または１の近くであり得る。主に粘膜エッジ画像を示す画像フレームの場合、情報スコアは２または２の近くであり得る。また、粘膜の面及び粘膜のエッジの両方の画像を有意に示す画像フレームの場合、情報スコアは３または３の近くであり得る。この０～３のスケールは、説明のみを目的とした非限定的な例である。

個々の画像フレームのそのような情報性スコアに基づいて、別の画像フレームの可能性のある情報性を自動的に決定するために追加の計算が実行され得る。例えば、情報性のしきい値は、手動または自動で決定できる。いくつかの実施形態では、回帰ルールを情報性スコアと共に使用して、フレームセット内の画像フレームの情報性を予測し、画像フレーム間のほとんどの分散を説明することができる。いくつかの実施形態では、ランダムフォレスト（ＲＦ）アルゴリズム、ならびに手動でスコア付けされた学習セットを使用して訓練され得る機械学習（ＭＬ）モデルが適用され得る。同じ画像フレームの他のスコアを使用して、情報性を処理するＭＬモデルを訓練することができる。例えば、いくつかの実施形態では、画像フレームは、最初に重症度について独立してスコアリングされ得、これは、次に、後の情報性スコアリング及び情報性しきい値に影響を及ぼし得る。

画像フレーム（またはその十分に広い領域）への任意のスコアの帰属は、人工知能（ＡＩ）モデル、コンピュータビジョン（ＣＶ）、機械学習（ＭＬ）、ランダムフォレスト（ＲＦ）アルゴリズムなどの任意のアルゴリズムによって実行され得る。より具体的には、また以下にさらに記載するとおり、人工ニューラルネットワーク（ＡＮＮ）技術は、情報性、重症度、またはその他の尺度のために、分類及びスコアリングのプロセスでも活用され得る。ＡＮＮの例としては、フィードフォワードニューラルネットワークを挙げることができ、さらに畳み込みニューラルネットワーク（ＣＮＮ）がさらに挙げられ、以下に詳述するように、他の構成も可能である。

情報性スコアは、いくつかの実施形態では、品質スコア、有用性スコア、信頼性スコア、再現性スコアなど、またはそれらの任意の組み合わせと呼ばれ得る。例えば、情報性に基づいて画像フレームのセットをフィルタリングする場合、特定の情報性のしきい値を下回る画像フレームは、セットから削除するかまたは除去する、他のスコアを割り当てるためにこれらの画像フレームを非表示にするかまたは無視する、及び／またはその後の分析のために特定の情報しきい値未満の画像フレームを保留にするなど、様々な方法で取り扱われ得、これらは、情報性に関する最初のスコアまたは他の値のための他のスコアと類似しているかまたは異なる場合がある。

情報スコアリング及び所与のしきい値より上または下の画像のソートなどのスコアリングに加えて、サンプリングを実行して、画像フレームのセットから特定の画像フレームを選択することもできる。一般に他の部分よりも情報的であることが公知である所与の器官のいくつかの部分について、より多くの画像が、情報の少ない部分からよりもそれらのより情報的な部分から確率的に選択され得る。例えば、小腸の特定の疾患は、小腸の所与の部分において比例して多少確実に発現され得る（例えば、遠位三分位からのサンプリングが多い、近位端部からのサンプリングが少ないなど）。セリアック病の特徴を探すとき、１つの特定の例を挙げれば、そのような特徴は一般に、遠位三分位よりも小腸の近位三分位でより明白である可能性があり得る。したがって、セリアック病を観察するためのサンプリングアルゴリズムは、近位二十分位からのサンプルを考慮することなく、遠位三分位よりも近位三分位により多くの重みを与え得る。同じ器官内であっても異なる疾患が異なって発現する及び／または同じ器官の異なる相対的位置で発現され得るため、特定の場所は、標的とされる器官及び疾患の特徴に依存する。

実際の情報スコアはまた、適応的にサンプリングに供給され得、その結果、より高い情報スコアを有する対応する画像フレームを有する領域は、次に、より低いスコアを有する対応する画像フレームを有する他の領域よりも高頻度でサンプリングされ得る。他のサンプリング方法、例えば、平方根または立方根に基づく方法を使用してもよい。情報性については、適応サンプリング及び選択は、疲労及びバイアスを減少させるために、別の属性（例えば、疾患の重症度）の後続のスコアリングを自動的に（例えば、ＡＩによって）実行するか、ヒトのレビューアによって手動で実行するかに応じて調整され得る。

スコアはまた、画像フレームのセット及び／または画像フレームのセットが複数の患者を有し得る例などの特定の患者についてなど、集計され得る。いくつかの例示的な実施形態では、重症度スコアは、対応する情報性スコアによって重み付けされて、画像フレームセット及び／または患者の総スコアを得することができる。

さらに、情報性及び／または他のスコアメトリックを決定するために、画像フレームスコアを、期待値、異常、外れ値などを決定するためなどに、曲線に適合させることができる。スコアは重み付けされ得、相対位置の所定の値は、いくつかの実施形態では、相対位置に従って所与の器官の部分の情報性または他のスコアメトリックを決定するためなど、特定のスコアの加重平均に割り当てられ得る。

重みは、例えば、平均値が１（または他のデフォルトの正常値）になるように正規化され得る。重みは、確率密度関数（ＰＤＦ）、例えば、正常、均一、対数などを使用して決定され得る。これは、所与の器官に沿った相対位置と相関する確率の既知の分布に基づいて変更してもよい。例えば、小腸の近位領域（十二指腸に移行する幽門領域）の場合、特定のスコアは、内側または遠位領域（空腸、回腸、及び盲腸への回腸移行）の対応するスコアとは異なると予想され得る。これらの変動は、局所的な異常を判断するため、または他の領域の基準とは異なり得るが他の方法では関心領域ではない可能性がある予想される変動を無視するために説明され得る。

本明細書に記載の技術の任意の組み合わせを含む一般的なアプローチに従って、画像は、正確な識別、レビュー、分類、及び／または診断を助ける方法でセグメント化、スコアリング、及び／または配置され得る。本明細書に記載の特定の技術の選択された例は、限定することを意図するものではなく、むしろ、これらの強化された技術に従って技術を実装する当業者に例示的なガイドラインを提供する。

画像フレームまたはその領域の情報性のスコアリング
図１は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って、画像フレーム内の少なくとも１つのスニペットを識別する及び／または選択するための方法１００を示すフローチャートである。方法１００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法１００のすべてのステップが必要とされない場合がある。さらに、方法１００のいくつかのステップは、当業者によって理解されるように、同時に、または図１に示されるものとは異なる順序で実行され得る。

方法１００は、図７～図９を参照して記載されなければならない。しかし、方法１００は、それらの例示的な実施形態のみに限定されない。方法１００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９の９０４に関して以下に記載される。いくつかの実施形態では、方法１００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

１０２では、少なくとも１つのプロセッサ９０４は、図７及び図８の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも１つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。

画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、例えば、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び少なくとも１つのスコアの値の変化によるサンプリングなどのサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。

画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す（示す、描写する）画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、１つのセンサまたはカメラの単一の出力に限定される必要はない。

各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの画像化デバイスの内部または外部の別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース（ＵＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）などを介してアクセス可能なネットワークストレージ媒体（ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など）を挙げることができる。

１０４では、プロセッサ９０４は、少なくとも部分的に人工ニューラルネットワーク（ＡＮＮ）の出力に基づいて、または第１のスコアを決定する他の手段によって、少なくとも１つのスコアを画像フレームに割り当てることができる。いくつかの実施形態では、第１のスコアは、情報性スコア（品質スコア、信頼性スコアなど）であり得る。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、以下に１０８に関してさらに説明するように、画像フレームのセットの画像フレームをソート、ランク付け（昇順または降順）、または他の方法で配置することが可能である。いくつかの実施形態では、第１のスコアは、１０６に関して以下にさらに記載するように、正規化のために使用され得る。あるいは、他の実施形態では、１０４で割り当てられた各フレームの第１のスコアは、代わりに、１０８に関して以下でさらに記載するが、正規化をバイパスする、しきい値を使用するフィルタリングの基礎として使用され得る。

１０６では、プロセッサ９０４は、上記のように少なくとも１つのカーブフィットによって、画像フレームのセット内の各画像フレームの第１のスコアを正規化することができる。これは、指定された範囲内の第１のスコアを有する。少なくとも１つのカーブフィット（または少なくとも１つのカーブへのフィット）は、例えば、相対位置または他のパラメータと相関する期待値など、少なくとも１つのＰＤＦ及び／または他の局所的重み付けなどの入力に基づくことができる。いくつかの実施形態では、正規化されたスコアは、所定のデフォルト値に関して重み付けされ得る。いくつかの実施形態では、スコアは、適応サンプリングのために繰り返し正規化され得、例えば、スコアを再割り当てし、再割り当てされたスコアが変化した場合、新しい対応する画像サンプルを選択するために１０４を繰り返す。図１０は、相対位置と相関するＰＤＦに関する適応サンプリングの例を示している。

１０８では、プロセッサ９０４は、１０６の正規化された第１のスコア（複数可）に基づいて、所与の画像フレームから少なくとも１つの関心領域を抽出するように構成され得る。方法１００の目的のために、スニペットは、画像フレームの少なくとも１つの関心領域を含み得る（例えば、図７及び図８に示すとおり）。具体的には、スニペットは、いくつかの実施形態では、例えば、粘膜面及び／または粘膜面のエッジを含むものとして識別される画像フレーム内の所与のエッジ値（例えば、所定のエッジ検出しきい値を超える）を包含する、特定の領域、形状、及び／またはサイズを有し得る関心領域として定義され得る。そのようなスニペットは、少なくともいくつかのフィルタ（例えば、エッジフィルタ、水平線フィルタ、カラーフィルタなど）を使用して識別され得る。これらのフィルタは、例えば、１０４で割り当てられ、上記の１０６で正規化されたスコア、または他の任意のスコアメトリックを使用するような、いくつかのエッジ検出アルゴリズム及び／または所定のしきい値を含み得る。所望の結果のために、所与のニューラルネットワークは、以下にさらに記載するとおり、いくつかの実施形態において、様々な方法で設計、カスタマイズ、及び／または修正され得る。

スニペットは、いくつかの実施形態では、全体の画像フレームサイズに対して小さい面積、例えば、スニペットあたりの総画像フレーム面積の０．７％を有するものとして定義され得る。他の実施形態は、例えば、各画像フレームに描写される標的器官の実際の面積などの他の要因に応じて、画像フレーム面積の最大５％または２５％としてスニペットを定義することができる。画像フレームが比較的小さいと定義され得る場合（例えば、所与の時間に撮影されたより大きな画像のより小さい成分）、いくつかの実施形態では、スニペットは、比較的多くの画像フレーム面積を占める可能性があると定義され得る。

第１のスコアが画像フレームの情報（または信頼性）に関するものである実施形態では、１０８は、場合によっては、情報性または信頼性の少なくとも最小の第１のスコアを有する画像フレームにのみ、選択的に適用され得、所与のしきい値より低いスコアを有する画像フレームは無視する。これは、そのような画像フレームが、意味のある第２のスコアをもたらすのに十分な情報または信頼性がない可能性があるためである。例えば、１０２で受信され、１０４でスコアリングされ、１０６で正規化されたセットフレームのサブセットを形成する選択されたフレーム（複数可）に１０８を選択的に適用するために、いくつかの実施形態はまた、図１１の方法１１００に関して以下にさらに記載の特定のステップを実行し得る。追加的にまたは代替的に、範囲は、しきい値のみではなく、上限及び／または下限を有するものとして指定され得る。したがって、任意の値ｘとｙとの間の第１のスコア値を有する画像フレームは、第２のスコアの割り当てから除外され得るが、ｘより下またはｙより高い第１のスコア値を有する画像フレームは、例えば、１０８においてスニペット抽出のために処理され得る。あるいは、指定された範囲は不連続であり得る。したがって、他の実施形態では、ｘより下またはｙより高い第１のスコア値を有する画像フレームは、スニペット抽出から除外され得るが、ｘとｙとの間の画像フレームは、例えば、１０８においてスニペット抽出のために処理され得る。

さらに、１０８では、抽出された任意のスニペット（複数可）を特定の方向に配向（または再配向）させ得る。この配向は、例えば、抽出と同じ操作で実行することができ、または他の実施形態では、別個のステップとして実行することができる。いくつかの実施形態では、特定の方向は、関心領域内のエッジに対して相対的であり得る。場合によっては、腸内では、例えば、この配向は、確実に、粘膜エッジが配向された関心領域の底にあること、または特定のエッジ、面、または他の画像の特徴に関して他の任意の好ましい配向にあることによって決定され得る。

一例の実施形態は、関心領域内の点で、測定された各点の周りの円形領域内の水平線の重心に対するベクトルの大きさを測定することによって操作され得る。ベクトルが特定のしきい値（例えば、円形領域の半径の２５％）を超えると判断された場合、これにより関心領域の底部が決定され、長方形のパッチが描画され得る（例えば、ベクトルに平行に、画像フレームの幅のｘパーセントの長さを有し、画像フレームの高さのｙパーセントの高さを有する）。これらの（再）配向されたスニペットはそれぞれ、画像フレームとは別に評価され得、これにより、例えば、以下の１１０でさらに記載するように、疾患の特徴の情報性及び／または重症度に関して、画像フレーム全体のスコアを提供する。いくつかの実施形態では、強いベクトル（例えば、円形領域の半径の２５％）がない場合、配向をスキップすることができる。

１１０において、少なくとも１つの関心領域は、画像フレームの少なくとも１つのスコアを決定するために、人工ニューラルネットワーク（ＡＮＮ）に入力され得る。ＡＮＮは、いくつかの非限定的な例を挙げれば、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つであり得る。例えば、フィードフォワードニューラルネットワークの場合、いくつかの実施形態では、これは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、オートエンコーダ、またはそれらの任意の組み合わせのうちの少なくとも１つにさらに対応し得る。

１つの非限定的な例を示すために、ＡＮＮは疑似回帰畳み込みニューラルネットワーク（ＣＮＮ）であり得る。ＣＮＮには、畳み込み層が深く、複数の初期特徴が含まれ得る。これには、例えば、畳み込み層ごとにさらにいくつかの特徴が含まれる。

さらに、所与のニューラルネットワーク及び画像フレームのセット、関心領域、及び／またはスニペットについて、いくつかの実施形態では、（ディープ）ニューラルネットワークの各層における接続ニューロンの数は、例えば、小さい画像サイズに対応するように調整され得る。ディープニューラルネットワークでは、畳み込み層の出力が、さらに処理するために、遷移層にフィードし得る。これらの層の出力は、複数の複製を使用して、密に接続された多層パーセプトロンにマージされ得る（上記の図１を参照されたい）。一実施形態では、（例えば、ドロップアウトを切り抜けるために）５つの複製を用いて、複数の層を３つの層とマージして、１０クラスの最終出力を得ることができ、各クラスは、例えば、０～３の範囲の１０分の１を表す。疑似回帰ＣＮＮの別の例によれば、訓練中に、標準偏差が０．２の正規分布ノイズを追加することによって（過剰フィッテイングを防ぐために）位置が不明瞭になり得る。

さらなる例によれば、スコアは、画像フレーム内の１つ以上のスニペットまたは関心領域に基づいて、全体として画像フレームに洗練され、一般化され得る。この結果を達成する１つの方法は、疑似回帰ＣＮＮを使用することであり、この場合、比較的小さい割合での訓練セット内の画像フレームは、ＣＮＮから保留される。例えば、画像フレームの１０％が保留され、スニペットがＣＮＮ処理後にそれぞれ１０の値を生成する場合、保留された（予約された）スニペットの半分を使用して、１００本のツリーのランダムフォレスト（ＲＦ）を訓練し、一実施形態では、局所カーブ値を推定できる。この推定値は、予約された訓練スニペットの他の半分からの１０値の出力と共に、例えば、エラーを推定し得る別のランダムフォレストを構築するために使用され得る。

いくつかの実施形態によれば、１１２では、プロセッサ９０４は、１１０の入力に応答するＡＮＮの出力に少なくとも部分的に基づいて、画像フレームに少なくとも１つのスコアを割り当てることができる。少なくとも上記の１１０に関して説明された例によれば、画像フレーム内の１つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、画像フレームのセットの画像フレームをソート、ランク付け（昇順または降順）、または他の方法で配置することが可能である。

１１４では、画像フレームのセット全体にわたって（または特定の患者のために）各画像フレームに割り当てられた少なくとも第１のスコア、第２のスコア、または両方のスコアに基づいて、プロセッサ９０４は、いくつかの実施形態によれば、セット（または患者）について、少なくとも１つの集計スコアを決定することができる。集計スコアは、例えば、目的の所与の疾患の診断または観察にさらに使用することができ、または少なくとも上記及び以下に記載の技術に従って、画像スコアリング及び／またはサンプリングの結果をさらに要約または分類するために使用することができる。集計スコアは、例えば、例示的な実施形態では、診断を容易にするために、潜在的なセリアック病患者における全体的な絨毛萎縮を示し得る。いくつかの実施形態では、特定の器官の領域（例えば、小腸の内側三分位、回腸の遠位四分位など）について、集計スコアを生成し得る。

さらに、ＡＩは、いくつかの実施形態では、少なくとも１つの集計スコアに基づいて、対象の疾患のより一貫性がありかつ信頼できる自動診断を実行することができる。腸内画像化の例では、本明細書に記載の強化された技術の適用は、１つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。

そのような診断は、画像フレームのセットに、腸管の特定のランドマーク特徴（例えば、幽門、十二指腸、盲腸など）を除いて、大部分が均質な画像が含まれている場合でも、本明細書に記載の強化された技術によって容易になり得る。小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。

画像フレーム内の疾患特徴の重症度のスコアリング
図２は、いくつかの実施形態による、治療、チャレンジ、または別の刺激に応答して、所与の器官の疾患特徴の予想される変化を捕捉するための方法２００を示すフローチャートである。方法２００などの方法は、１つの非限定的な使用例を挙げれば、特定の医学的治療の臨床試験に使用することができる。方法２００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された画像処理技術を実行するために、すべての場合において方法２００のすべてのステップが必要とされない場合がある。さらに、方法２００のいくつかのステップは、当業者によって理解されるように、同時に、または図２に示されるものとは異なる順序で実行され得る。

方法２００は、図４～図８を参照して記載されなければならない。しかし、方法２００は、それらの例示的な実施形態のみに限定されない。方法２００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９に関して以下に記載される。いくつかの実施形態では、方法２００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

本方法は、まだ実行されていない場合は、初期化、実行、または他の方法で開始され得る。いくつかの実施形態によれば、初期化段階から、任意の実装固有の初期化手順後、本方法は、２１０に進むことができる。いくつかの実施形態では、この実行の流れは、有限状態マシン、手続き型プログラミング、オブジェクト指向プログラミング、及び／またはハードウェア、ソフトウェア、または上記のいくつかの組み合わせにおける他のロジックによって定義され得る。

２１０では、関心領域（いくつかの実施形態では「スニペット」として表される）は、１つ以上の画像フレームから抽出され得る（関心領域またはスニペットのさらなる説明については、図５の方法５００を参照されたい）。また、２１０では、これらの関心領域またはスニペットは、いくつかの非限定的な例を挙げると、関心領域またはスニペットの配向及び／または再配向、ならびに色、明るさ、及び正規化のための他のフィルタを適用するなど、他の方法で処理され得る。２１０のこの段階から、抽出された関心領域（方法２００の目的のために、関心領域は同義的にスニペットと呼ばれる）は、２２０で処理するために疑似回帰畳み込みニューラルネットワーク（ＣＮＮ）に入力され得る。

２２０では、関心領域またはスニペットは、この例では、疑似回帰ＣＮＮなどの少なくとも１つのニューラルネットワークによって処理され得る。図２に示す非限定的な例示的実施形態は、ＣＮＮを示し、他のタイプのニューラルネットワーク及び／またはアルゴリズムは、他の実施形態において２２０の処理を実行し得る。この疑似回帰ＣＮＮ処理がどのように機能するかについてのより詳細な説明は、図５に関して以下に記載する。２２０における疑似回帰ＣＮＮからの出力は、２３０ＡにおけるＣＮＮ予測ランダムフォレスト（ＲＦ）及び／または２３０ＢにおけるＣＮＮエラーＲＦに中継され得る。

２３０Ａでは、ＣＮＮ予測ＲＦは、２２０での疑似回帰ＣＮＮから少なくとも１つの結果を受け取ることができる。独自の処理後、ＣＮＮ予測ＲＦは、例えば、２４０におけるスニペット選択への入力として、及び／または２５０におけるフレーム統計への入力として、少なくとも１つの結果を出力することができる。ＣＮＮ予測ＲＦ出力の結果として得られる値は、いくつかの実施形態では、例えば、所与のスニペットにおける疾患の特徴の局所的な重症度に対応し得る。そのような予測は、推定または評価と呼ばれ得る。（例えば、エッジ検出のために）ＲＦを使用する予測に関するより詳細は、図５に関して以下に記載する。ＣＮＮ予測ＲＦ出力は、以下に記載の２３０ＢでのＣＮＮエラーＲＦへの入力としても機能し得る。

２３０Ｂでは、ＣＮＮエラーＲＦは、２２０での疑似回帰ＣＮＮから少なくとも１つの結果を受け取ることができる。独自の処理後、ＣＮＮ予測ＲＦは、例えば、２４０におけるスニペット選択への入力として、及び／または２５０におけるフレーム統計への入力として、少なくとも１つの結果を出力することができる。（例えば、エラー推定のために）ＲＦを使用する予測に関するより詳細は、図５に関して以下に記載する。

２４０では、スニペットの選択が実行され得る。いくつかの実施形態では、スニペット選択は、エッジ検出、及び抽出された画像を検出されたエッジの周りに再配向することによって実行され得る（例えば、２３０ＡにおけるＣＮＮによるＲＦ予測の結果として）。スニペットは、強度などの画像特性によって、及び／または潜在的な疾患の特徴の重症度などの内容に基づいて、評価（スコアリング）し、潜在的にランク付けされ得る。スニペットの選択及びスコアリングの詳細については、図４及び図５に関して以下に説明する。選択したスニペットは、例えば２５０においてフレーム統計を計算するための入力として使用され得る。追加的または代替的に、いくつかの実施形態は、スニペット選択を、いくつかの非限定的な例を挙げると、画像変換、マスキング、エッジ検出、再配向、またはそれらの組み合わせのステップと統合してもよい。そのようなステップを組み込んだ実施形態は、図１２の方法１２００に関して以下にさらに記載する。

いくつかの実施形態では、２５０において、フレーム統計が計算され得る。フレーム統計としては、これらに限定されないが、スニペット、フレーム、またはフレームセットの特定のメトリックの平均または標準偏差、フレームまたはフレームセットごとのスニペットの数、フレームまたはフレームセットごとのフレームメタデータ、２３０ＢにおいてＣＮＮエラーＲＦによって推定されたエラー値などが挙げられる。フレーム統計は、例えば、特定の疾患の診断など、所与の時間における所与の患者について全（「全体像」）スコアを決定するのに有用であり得る。別の例では、予想よりも高い関心領域の標準偏差を有するフレームは、場合によっては、他のフレームよりも情報性が少ないと判断され得る。

２６０Ａでは、ＣＮＮ予測ＲＦは、２５０での疑似回帰ＣＮＮから少なくとも１つの結果を受け取ることができる。独自の処理後、ＣＮＮ予測ＲＦは、例えば、カーブフィット２７０への入力として少なくとも１つの結果が出力され得る。ＣＮＮ予測ＲＦ出力の結果として得られる値は、いくつかの実施形態では、例えば、所与のスニペットにおける疾患の特徴の局所的な重症度に対応し得る。そのような予測は、推定または評価と呼ばれ得る。（例えば、エッジ検出のために）ＲＦを使用する予測に関するより詳細は、図５に関して以下に記載する。ＣＮＮ予測ＲＦ出力は、以下に記載の２６０ＢでのＣＮＮエラーＲＦへの入力としても機能し得る。

２６０Ｂでは、ＣＮＮエラーＲＦは、２５０での疑似回帰ＣＮＮから少なくとも１つの結果を受け取ることができる。独自の処理後、ＣＮＮ予測ＲＦは、例えば、カーブフィット２７０への入力として少なくとも１つの結果が出力され得る。（例えば、エラー推定のために）ＲＦを使用する予測に関するより詳細は、図５に関して以下に記載する。

２７０では、ＣＮＮ／ＲＦ予測及び／またはエラー推定計算から収集された結果をさらにフィルタリング及び／または正規化するために、カーブフィッティングを行ってもよい。正規化は、カーブ（例えば、ガウス分布、ローレンツ分布など）に関して行ってもよい。いくつかの実施形態では、スニペットに関する画像強度は、各スニペットの疾患重症度予測と称される場合もある。いくつかの実施形態では、画像強度は、画像フレーム全体の疾患重症度スコアを指してもよい。いくつかの実施形態では、画像強度は、例えば、明るさまたは彩度などの特定の画像特性を指してもよい。カーブフィッティングなどの正規化の詳細については、図７に関して以下に説明する。

図２は、１０個の出力を生成するように構成されている疑似回帰ＣＮＮの値の例を使用して方法２００の操作を簡潔に説明するキャプション、及び０．５未満のエラーを伴う検証スニペットで使用されるＲＦを含む。しかし、他の実施形態は、例えば、出力の数及び許容誤差について異なる値を使用して実装され得る。本明細書に添付された付録Ａは、方法２００の実施形態に関する追加の詳細を提供する。

様々な実施形態は、例えば、図９に示すコンピュータシステム９００などの１つ以上の既知のコンピュータシステムを使用して実施され得る。コンピュータシステム９００は、図３のシステム３００を備え得、例えば、図２の方法２００を実施するために使用され得る。

方法２００は、図２のこの例示的な実施形態において上記に示される順序で開示される。しかし、実際には、上記に開示された操作は、他の操作と共に、任意のシーケンスで順次実行されてもよく、あるいは、同時に実行される複数の操作が同時に実行されてもよく、または上記の任意の組み合わせで実行されてもよい。

図２の上記の操作を実施することにより、少なくとも以下の利点を提供し得る：図２に概説される画像処理などのこれらの強化された技術を使用することにより、疾患の特徴、症状、及び診断のスコアリング及び他の評価の信頼性が改善され得、さらに、診断及び治療が典型的には困難であった疾患の信頼できる臨床試験及び／または治療がさらに可能になる。図２の方法２００は、以下に記載の図４～６の方法４００、５００、及び６００と同様に、患者の観察、診断、及び治療に有用である特定の結果を達成するための効率的かつ信頼性の高い方法を提供する。

情報性または重症度をスコアリングするためのＣＮＮアプリケーションの例
図３は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術のいくつかを実装するシステムを示すブロック図である。

システム３００は、一実施形態では、例えば、少なくともボクセル出力３３０を生成するために、少なくとも１つの畳み込み入力３１０及び任意の数の他の入力３４０を受信するように構成された多層パーセプトロン３２０を含み得る。多層パーセプトロン３２０は、例えば、フィードフォワードニューラルネットワーク及び／または分類器であり得るか、またはそれらを含み得、かつ、複数の層を有する。いくつかの実施形態では、活性化関数が特定の層から再利用され得る場合、またはいくつかの実施形態では、特定の計算、例えば、重み行列を求めるために１つ以上の層の活性化がスキップされる場合など、これらの層は密に接続され得る。

多層パーセプトロン３２０または別のニューラルネットワーク（例えば、少なくとも１つの畳み込み入力３１０に関連付けられた少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ））は、いくつかの実施形態では、所与のボクセル出力を、ボクセルに対応する疾患特徴の重症度の尺度にマッピングすることができる。そのような重症度の尺度は、例えば、少なくとも１つの所与のボクセルに対応する画像フレームにスコアを帰するために使用され得る。いくつかの実施形態では、ボクセルは、例えば、関心領域及び／またはスニペットとして追加的または代替的に表され得る。

他の入力のいくつかは、例えば、色値（いくつかの非限定的な例を挙げれば、例えば、ＲＧＢ色空間またはＰＢＧ色空間で）、及び／または例えば、タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータなどの画像メタデータを含み得る。一実施形態では、例えば、相対位置が小腸の長さに沿った尺度または割合（パーセンテージ）（開始から終了まで）を示し得る場合、そのようなメタデータは、多層パーセプトロン３２０などのニューラルネットワークによって、情報性及び／または疾患の重症度を測定またはスコアリングし得る方法において任意の役割を果たし得、ボクセル出力３３０に影響を与え得る。

これらの要素のそれぞれは、ハードウェア、ソフトウェア、またはそれらのいくつかの組み合わせで実装されるモジュラーコンポーネントであり得る。さらに、いくつかの実施形態では、これらの要素のいずれかは、コンピュータシステム９００またはその複数のインスタンスと統合され得る。さらに、システム３００は、例えば、方法２００、４００、５００、６００、または図２及び図４～６に示されるものと同様の方法のいずれかを実施するのに有用であり得る。

畳み込み入力３１０データは、ユーザ入力、機械入力、または周期的もしくはイベント駆動型入力などの他の自動入力など、実質的に任意のソースから発生し得る。画像フレームは、本明細書に記載のとおり、少なくとも１つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。

画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの別の装置から、または上記の任意の組み合わせから発生され得る。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース（ＵＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）などを介してアクセス可能なネットワークストレージ媒体（ローカルネットワーク上またはネットワークもしくはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など）が挙げられる。

多層パーセプトロン３２０及び／または他のニューラルネットワークの追加のロジックを実装して、さらなる処理を実行することができる。そのようなさらなる処理のいくつかの例が、本明細書の図２及び図４～図６に示されている。

画像フレームのスコアリング及び配置
図４は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って画像フレームをスコアリング及び配置するための方法４００を示すフローチャートである。方法４００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法４００のすべてのステップが必要とされない場合がある。さらに、方法４００のいくつかのステップは、当業者によって理解されるように、同時に、または図４に示されるものとは異なる順序で実行され得る。

４０２では、少なくとも１つのプロセッサ９０４は、図７及び図８の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも１つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。

画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、例えば、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び少なくとも１つのスコアの値の変化によるサンプリングなどのサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。

画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す（示す、描写する）画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、１つのセンサまたはカメラの単一の出力に限定される必要はない。
センサ８
各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの画像化デバイスの内部または外部の別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース（ＵＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）などを介してアクセス可能なネットワークストレージ媒体（ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など）を挙げることができる。

いくつかの実施形態によれば、４０４では、プロセッサ９０４は、５１０の入力に応答するＡＮＮの出力に少なくとも部分的に基づいて、画像フレームに少なくとも１つのスコアを割り当てることができる。少なくとも上記の５１０に関して説明された例によれば、画像フレーム内の１つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、以下に４０８に関してさらに説明するように、画像フレームのセットの画像フレームをソート、ランク付け（昇順または降順）、または他の方法で配置することが可能である。

４０６において、プロセッサ９０４は、指定された範囲内に第１のスコアを有する各画像フレームに第２のスコアを割り当てることができる。例えば、第１のスコアが画像フレームの情報（または信頼性）に関するものである実施形態では、４０６は、場合によっては、情報性または信頼性の少なくとも最小の第１のスコアを有する画像フレームにのみ、選択的に適用され得、所与のしきい値より低いスコアを有する画像フレームは無視する。これは、そのような画像フレームが、意味のある第２のスコアをもたらすのに十分な情報または信頼性がない可能性があるためである。

この例では、第２のスコアは、画像フレームに示される標的器官の一部における疾患の特徴の強度または重症度を指し得る。しかし、いくつかの実施形態では、第２のスコアは、追加的または代替的に、例えば、任意の画像プロパティまたは画像フレームメタデータなど、任意の定量化可能なメトリックまたは定性的プロパティを参照し得る。さらに、指定された範囲には、しきい値のみではなく、上限及び／または下限を有し得る。したがって、任意の値ｘとｙとの間の第１のスコア値を有する画像フレームは、第２のスコアの割り当てから除外され得るが、ｘより下またはｙより高い第１のスコア値を有する画像フレームは、例えば、４０６において第２のスコアを割り当てられ得る。あるいは、指定された範囲は不連続であり得る。したがって、他の実施形態では、ｘより下またはｙより高い第１のスコア値を有する画像フレームは、第２のスコアの割り当てから除外され得るが、ｘとｙとの間の画像フレームは、例えば、４０６において第２のスコアを割り当てられ得る。

４０８において、プロセッサ９０４は、いくつかの実施形態によれば、第１のスコアまたは第２のスコアのうちの少なくとも１つに従って画像フレームのセットを配置することができる。このように画像フレーム（のセット）を配置することにより、単に長さに沿った距離の順序ではなく、例えば、いくつかの実施形態では、レビューアのバイアスを減少させるために設計された方法で、診断のためにヒトのレビューアに提示する画像フレームのセットをキュレートすることがさらに可能になる。ヒトのレビューアは、例えば、時間、場所、及び／またはＡＮＮによって決定された予測（推定）スコアをランダムな順序で、画像をランダム化及び分類するなどの手法によってバイアスを減少させることができれば、セットからの信頼性の低い（情報性の少ない）画像フレームを除去し、分類した画像をヒトのレビューアに自動的に提示した後、より正確で一貫性のある結果をもたらし得る。ソート順序はまた、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ９０４によって解析され得る少なくとも１つの画像プロパティなどの画像フレームメタデータによって決定され得る。プロセッサ９０４は、例えば、その対応するメタデータに基づいて、セットから画像フレームを追加的または代替的に削除することができる。

さらに、いくつかの実施形態では、人工知能（ＡＩ）が、目的の疾患のより一貫性がありかつ信頼できる自動診断を実行することが可能になる。腸内画像化の例では、本明細書に記載の強化された技術の適用は、１つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。

そのような診断は、画像フレームのセットに、腸管の特定のランドマーク特徴（例えば、幽門、十二指腸、盲腸など）を除いて、大部分が均質な画像が含まれている場合でも、本明細書に記載の強化された技術によって容易になり得る。小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。

画像フレーム内のスニペット（関心領域）の選択
図５は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って画像フレームを識別する及び／または選択するための方法５００を示すフローチャートである。方法５００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法５００のすべてのステップが必要とされない場合がある。さらに、方法５００のいくつかのステップは、当業者によって理解されるように、同時に、または図５に示されるものとは異なる順序で実行され得る。

方法５００は、図２、図３，及び図６～図８を参照して記載されなければならない。しかし、方法５００は、それらの例示的な実施形態のみに限定されない。方法５００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９の９０４に関して以下に記載される。いくつかの実施形態では、方法５００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

５０２では、少なくとも１つのプロセッサ９０４は、図７及び図８の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも１つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。

画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び例えば、少なくとも１つのスコアの値の変化によるサンプリングが挙げられるサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。

画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す（示す、描写する）画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、１つのセンサまたはカメラの単一の出力に限定される必要はない。

各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、標準プロトコル、ユーザーインターフェース（ＵＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）などを介してアクセス可能なネットワークストレージ媒体（ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など）を挙げることができる。

５０４では、プロセッサ９０４は、画像フレームのセットの画像フレームにおいて、エッジ値が所定のしきい値を超えることを決定するように構成され得る。この決定は、いくつかの実施形態では、画像フレームの情報性（画像フレームが疾患の特徴の存在、不在、または重症度を示す可能性がどれほどあり得るか）を決定するため、及び／または所与の特徴の重症度を決定するために（疾患強度と呼ばれることもある）最終的に使用され得る。この決定を行う際に分析された画像フレームは十分に情報的であると仮定する。いくつかの実施形態では、この決定は、画像フレームの１つ以上のスニペット（図７及び８を参照）の基礎を形成し得る画像フレーム内の１つ以上のエッジを識別するために、または画像フレームが、例えば、特定の疾患の特徴を決定するのに有用であるエッジを有さない場合に、任意の所与の画像フレームで試みられ得る。

エッジ値が所定のしきい値を超えることを決定するために、いくつかの非限定的な例を挙げると、例えば、微分演算子またはラプラシアン関数の極大値またはゼロ交差の計算、または他の微分エッジ検出方法など、様々なエッジ検出技術のいずれかを使用することができる。本明細書に記載のエッジ検出目的の任意のしきい値は、例えば、適応しきい値化技術及び／またはしきい値ヒステリシスの使用など、所与の画像セットにおける信号及びノイズのバランスをとるための様々な技術によって決定され得る。ガウス平滑化、特定の色範囲の変換、カラーチャネルの分離、勾配及び／または勾配推定の計算など、追加ステップもエッジ検出を伴ってもよい。

いくつかの実施形態では、エッジ検出をさらに支援することは、少なくとも１つの機械学習（ＭＬ）アルゴリズム、ニューラルネットワーク（ＮＮ）、及び／またはランダムフォレスト（ＲＦ）の使用であり得る。例えば、ＭＬアルゴリズムは、粘膜の前景を背景から分離するため、または障害物（浮遊物質、胆汁の流れなど）もしくは例えば、腸の画像フレームでの他のアーチファクト（気泡、輝点、反射など）を分離するために、腸管の内側からの画像を使用して、訓練され得る。このような異常は、比較的単純なエッジ検出アルゴリズムの有効性を低下させ得るが、ニューラルネットワーク、機械学習、ランダムフォレスト、またはそれらの任意の組み合わせを構成して、いくつかの実施形態では、そのような画像または領域をスプリアス（情報がない、または信頼できない）として検出し、画像フレームのセットにおいて、それらを考慮から外し得る。

例えば、輝点は、それぞれが比較的高い強度を有するＲＧＢ（赤－緑－青のカラーモデル）画像の３つのチャネルのうちの少なくとも２つによって検出され得る。輝点を超えて、明るい線は気泡を示し得る。胆汁は、いくつかの実施形態では、ＲＧＢ色空間をＰＢＧ（ピンク－茶色－緑）にキャストし、高輝度の緑チャネルを検出することによって決定され得る。これらは、腸の画像を分析する際にいくつかのアーチファクトがどのように決定され得るかを示す数例である。そのようなアーチファクトを有する画像フレームは、情報性が低いかまたは情報性がないものとして分類され得る。

粘膜面は、少なくとも１つの強いエッジを有すると決定され得る（高しきい値エッジフィルタで検出される）。セリアック病及びその重症度を決定することに関して、例えば、粘膜面を含む画像フレームは、他の画像フレームよりも情報が多いか、または比較的情報が多いと決定され得る。閉塞性アーチファクトのない情報性画像フレームの中で、疾患の特徴の重症度は、例えば、腸内表面に対応するエッジ及び面の特徴に基づいて、高信頼性でスコアリングすることができる。そのようなスコアリングは、例えば、画像フレームのセット内の画像フレームをレビューするヒト専門家（例えば、胃腸科医）によって手動で行われ得る。いくつかの実施形態では、そのようなスコアリングは、例えば、エッジ及び／または面の特徴に関して類似のアルゴリズムまたは異なるアルゴリズムを適用して、自動的に実行され得る。

５０６では、プロセッサ９０４は、５０４の決定に基づいて、所与の画像フレームから少なくとも１つの関心領域を抽出するように構成され得る。方法５００の目的のために、関心領域は、画像フレームの少なくとも１つのスニペットを含み得る（例えば、図７及び８に示すとおり）。具体的には、スニペットは、いくつかの実施形態では、例えば、粘膜面及び／または粘膜面のエッジを含むものとして識別される画像フレーム内の所与のエッジ値（例えば、所定のエッジ検出しきい値を超える）を包含する、特定の領域、形状、及び／またはサイズを有し得る関心領域として定義され得る。スニペットは、いくつかの実施形態では、全体の画像フレームサイズに対して小さい面積、例えば、スニペットあたりの総画像フレーム面積の０．７％を有するものとして定義され得る。他の実施形態は、例えば、各画像フレームに描写される標的器官の実際の面積などの他の要因に応じて、画像フレーム面積の最大５％または２５％としてスニペットを定義することができる。画像フレームが比較的小さいと定義され得る場合（例えば、所与の時間に撮影されたより大きな画像のより小さい成分）、いくつかの実施形態では、スニペットは、比較的多くの画像フレーム面積を占める可能性があると定義され得る。

５０８では、５０４の決定に基づいて所与の画像フレームから抽出された任意のものなど、少なくとも１つの関心領域を特定の方向に配向させ得る（または再配向させ得る）。いくつかの実施形態では、特定の方向は、関心領域内のエッジに対して相対的であり得る。場合によっては、腸内では、例えば、この配向は、粘膜のエッジが配向された関心領域の底部にあることを確実にすることによって決定され得る。

一例の実施形態は、関心領域内の点で、測定された各点の周りの円形領域内の水平線の重心に対するベクトルの大きさを測定することによって操作され得る。ベクトルが特定のしきい値（例えば、円形領域の半径の２５％）を超えると判断された場合、これにより関心領域の底部が決定され、長方形のパッチが描画され得る（例えば、ベクトルに平行に、画像フレームの幅のｘパーセントの長さを有し、画像フレームの高さのｙパーセントの高さを有する）。これらの（再）配向されたスニペットはそれぞれ、画像フレームとは別に評価され得、これにより、例えば、以下の５１０でさらに記載するように、疾患の特徴の情報性及び／または重症度に関して、画像フレーム全体のスコアを提供する。いくつかの実施形態では、強いベクトル（例えば、円形領域の半径の２５％）がない場合、配向をスキップすることができる。

５１０において、少なくとも１つの関心領域は、画像フレームの少なくとも１つのスコアを決定するために、人工ニューラルネットワーク（ＡＮＮ）に入力され得る。ＡＮＮは、いくつかの非限定的な例を挙げれば、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つであり得る。例えば、フィードフォワードニューラルネットワークの場合、いくつかの実施形態では、これは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、オートエンコーダ、またはそれらの任意の組み合わせのうちの少なくとも１つにさらに対応し得る。

畳み込みニューラルネットワーク（ＣＮＮ）処理に基づくさらなる実施形態では、例えば、そのようなＣＮＮは、少なくともいくつかのフィルタ（例えば、エッジフィルタ、水平線フィルタ、カラーフィルタなど）をさらに統合することができる。これらのフィルタは、例えば、上記の５０４に関して記載したとおり、エッジ検出アルゴリズム及び／または所定のしきい値のいくつかを含み得る。所望の結果のために、ＣＮＮなどの所与のＡＮＮは、いくつかの実施形態において、例えば、いくつかの基準に従って、様々な方法で設計、カスタマイズ、及び／または修正され得る。いくつかの実施形態では、フィルタは異なるサイズであり得る。畳み込みフィルタは、例えばＣＮＮによって実装され、訓練データまたはそこから生成されるノイズのランダムな選択を用いて訓練され得る。いくつかの実施形態では、ＣＮＮベースのフィルタは、例えば、関心領域で識別された特徴の予測のために、回帰の信頼性に関する追加情報を出力するように構成され得る。一般に、ＣＮＮベースのフィルタは、フィルタの設計及び実装の複雑さが増大しながら、結果の信頼性を向上させ得る。

１つの非限定的な例を示すために、ＣＮＮは、ＤｅｎｓｅＮｅｔアーキテクチャ（高密度畳み込みニューラルネットワークアーキテクチャまたは多層スキップを伴う残差ニューラルネットワーク）に基づく疑似回帰ＣＮＮであり得る。より具体的には、この例によるさらなる実施形態では、ＣＮＮは、ＤｅｎｓｅＮｅｔ１２１に基づいてもよく、例えば、４個の畳み込み層の深さである１つの高密度ブロック（ブロック構成＝（４，０））、１６個の初期特徴、及び畳み込み層ごとに１６以上の初期特徴を有するように構成され得る。

さらに、所与のニューラルネットワーク及び画像フレームのセット、関心領域、及び／またはスニペットについて、いくつかの実施形態では、（ディープ）ニューラルネットワークの各層における接続ニューロンの数は、例えば、小さい画像サイズに対応するように調整され得る。ディープニューラルネットワークでは、畳み込み層の出力が、さらに処理するために、遷移層にフィードし得る。これらの層の出力は、複数の複製を使用して、密に接続された多層パーセプトロンにマージされ得る（上記の図１を参照されたい）。一実施形態では、（例えば、ドロップアウトを切り抜けるために）５つの複製を用いて、複数の層を３つの層とマージして、１０クラスの最終出力を得ることができ、各クラスは、例えば、０～３の範囲の１０分の１を表す。疑似回帰ＣＮＮの別の例によれば、訓練中に、標準偏差が０．２の正規分布ノイズを追加することによって（過剰フィッテイングを防ぐために）位置が不明瞭になり得る。

さらなる例によれば、スコアは、画像フレーム内の１つ以上のスニペットまたは関心領域に基づいて、全体として画像フレームに洗練され、一般化され得る。この結果を達成する１つの方法は、疑似回帰ＣＮＮを使用することであり、この場合、比較的小さい割合での訓練セット内の画像フレームは、ＣＮＮから保留される。例えば、画像フレームの１０％が保留され、スニペットがＣＮＮ処理後にそれぞれ１０の値を生成する場合、保留された（予約された）スニペットの半分を使用して、１００本のツリーのランダムフォレスト（ＲＦ）を訓練し、一実施形態では、局所カーブ値を推定できる。この推定値は、予約された訓練スニペットの他の半分からの１０値の出力と共に、例えば、エラーを推定し得る別のランダムフォレストを構築するために使用され得る。

いくつかの実施形態によれば、５１２では、プロセッサ９０４は、５１０の入力に応答するＡＮＮの出力に少なくとも部分的に基づいて、画像フレームに少なくとも１つのスコアを割り当てることができる。少なくとも上記の５１０に関して説明された例によれば、画像フレーム内の１つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、画像フレームのセットの画像フレームをソート、ランク付け（昇順または降順）、または他の方法で配置することが可能である。

このように画像フレーム（のセット）を配置することにより、例えば、いくつかの実施形態では、レビューアのバイアスを減少させるために設計された方法で、診断のためにヒトのレビューアに提示する画像フレームのセットをキュレートすることがさらに可能になる。ヒトのレビューアは、例えば、時間、場所、及び／またはＡＮＮによって決定された予測（推定）スコアをランダムな順序で、画像をランダム化及び分類するなどの手法によってバイアスを減少させることができれば、セットからの信頼性の低い（情報性の少ない）画像フレームを除去し、分類した画像をヒトのレビューアに自動的に提示した後、より正確で一貫性のある結果をもたらし得る。ソート順序はまた、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ９０４によって解析され得る少なくとも１つの画像プロパティなどの画像フレームメタデータによって決定され得る。プロセッサ９０４は、例えば、その対応するメタデータに基づいて、セットから画像フレームを追加的または代替的に削除することができる。

さらに、いくつかの実施形態では、人工知能（ＡＩ）が、目的の疾患のより一貫性がありかつ信頼できる自動診断を実行することが可能になる。したがって、腸内画像化の例では、本明細書に記載の強化された技術の適用は、１つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。

そのような診断は、画像フレームのセットが大部分が均質な画像を含む場合でさえ、本明細書に記載の強化された技術によって容易にされ得る。腸管の特定のランドマーク特徴（例えば、幽門、十二指腸、盲腸など）を除いて、小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。

機械学習アルゴリズムの訓練
図６は、いくつかの実施形態による、別のＭＬアルゴリズムを使用して、機械学習（ＭＬ）アルゴリズムを訓練するための方法６００を示すフローチャートである。方法６００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法６００のすべてのステップが必要とされない場合がある。さらに、方法６００のいくつかのステップは、当業者によって理解されるように、同時に、または図６に示されるものとは異なる順序で実行され得る。

方法６００は、図２、図３，及び図７～図９を参照して記載されなければならない。しかし、方法６００は、それらの例示的な実施形態のみに限定されない。方法６００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９の９０４に関して以下に記載される。いくつかの実施形態では、方法６００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

６０２では、少なくとも１つのプロセッサ９０４は、例えば、図７及び図８の左側に示される画像フレームなどの画像フレームの第１のセット、及び対応する最初のメタデータセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも１つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。

画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び例えば、少なくとも１つのスコアの値の変化によるサンプリングが挙げられるサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。画像化に関する追加情報は、上記の図５に関して記載されている。

第１のメタデータセットは、例えば、これらに限定されないが、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ９０４によって解析され得る少なくとも１つの画像プロパティを含み得る。プロセッサ９０４は、例えば、画像の対応するメタデータに基づいて、追加的にまたは代替的に、セットにまたはセットから画像フレームを追加するかまたは削除することができる。

６０４では、プロセッサ９０４は、画像フレームの第１のセット及び対応する第１のメタデータセットを第１のＭＬアルゴリズムに入力することができる。第１のＭＬアルゴリズムには、回帰、深層学習、強化学習、能動学習、教師あり学習、半教師あり学習、教師なし学習、及びＭＬの範囲内の他の同等の態様を対象としたアルゴリズムなど、任意の好適なアルゴリズムを含め得る。ＭＬアルゴリズムは、いくつかの実施形態では、例えば、深層畳み込みニューラルネットワークなど人工ニューラルネットワークに依存し得る。

６０６では、プロセッサ９０４は、画像フレームの第１のセットに基づいて、画像フレームの第２のセット及び対応するメタデータセットを生成することができる。画像フレームのこの第２のセット及び／または対応するメタデータセットは、いくつかの実施形態では、第１のＭＬアルゴリズムからの少なくとも１つの出力値に基づいてもよい。このような出力は、例えば、第１のＭＬアルゴリズムのパフォーマンス及び精度を評価するための基礎として機能し得る。いくつかの実施形態では、そのような出力は、以下の６０８に示すとおり、他のＭＬアルゴリズム（複数可）を訓練するためなど、１つ以上の他のＭＬアルゴリズム（複数可）への入力としても機能し得る。この例では、１つ以上の他のＭＬアルゴリズム（複数可）は、第１のＭＬアルゴリズムと同じタイプ、第１のＭＬアルゴリズムとは異なるタイプ、またはそれらの組み合わせであり得る。

６０８では、６０６で生成された出力の少なくとも一部は、プロセッサ９０４などによって、画像フレームの第２のセット及びそれらの対応する第２のメタデータセットが第２のＭＬアルゴリズムに供給される形態で入力され得る。第１のＭＬアルゴリズムの出力に応じて（例えば、６０６において）、画像フレームの第２のセットは、画像フレームの第１のセットのサブセットであり得、及び／または他の方法で洗練され得る。さらなる例として、対応する第２のメタデータは、いくつかの実施形態では、第１のＭＬアルゴリズムの出力に応じて、第１のメタデータセットよりも詳細を含み得る。

第１のＭＬアルゴリズム及び第２のＭＬアルゴリズムが何であるか、及びそれらがどのように動作し得るかに応じて、そのような構成により、ＭＬアルゴリズムが他のＭＬアルゴリズムを協調的に訓練し、すぐ近くで少なくとも所与の処理タスク（複数可）により１つ以上のＭＬアルゴリズムのパフォーマンス及び有効性を向上させ得る。この改善は、以下の６１０によってさらに洗練され得る。

６１０では、プロセッサ９０４は、洗練された画像フレームのセット、洗練された画像フレームのセットに対応する洗練されたメタデータ、または上記の組み合わせを生成することができる。洗練された画像フレームのセットは、いくつかの実施形態では、画像フレームの第１のセットまたは画像フレームの第２のセットのいずれかとは異なる場合がある。洗練されたメタデータは、同様に、第１のメタデータセット及び／または第２のメタデータセットのサブセットまたはスーパーセットであり得るか、またはいくつかの実施形態では、第１のメタデータセットまたは第２のメタデータセットのいずれとも重複しない場合がある。いくつかの実施形態では、洗練された画像フレーム及び／または洗練されたメタデータは、いくつかの例を挙げれば、診断として、レビューのための情報的画像として、またはこれらのいくつかの組み合わせとして提示するのに好適であり得る。

方法６００は、図６のこの例示的な実施形態において上記に示される順序で開示される。しかし、実際には、上記に開示された操作は、他の操作と共に、任意のシーケンスで順次実行されてもよく、あるいは、同時に実行される複数の操作が同時に実行されてもよく、または上記の任意の組み合わせで実行されてもよい。

図４～図６の上記の操作を実施することにより、少なくとも以下の利点を提供し得る：上記の強化された技術を採用したコンピュータ実装方法を使用することにより、少なくとも特定の腸疾患について、現在までヒトのレビューア（胃腸科医）が他の方法では達成できない客観的な方法で画像をスコアリングし、評価できる。したがって、本明細書に記載の強化された技術のこの適用は、客観的な方法論を達成し、したがって、そのような腸疾患を有する患者を効率よく観察、診断、及び治療するための健全な基礎を達成し、これにより従来の方法の費用を要し、信頼できない試行錯誤が回避される。

画像フレームからの関心領域（スニペット）の配向及び抽出
図７は、いくつかの実施形態による、例えばスニペットの形態で、画像フレームから少なくとも１つの関心領域を識別し、配向し、かつ抽出する例７００を示す。

画像フレームが７１０に示され、特定のエッジ値が７１２で所定のしきい値を超えていると識別され、強いエッジ値を有する。７２０においてスニペットの形態で、強いエッジ値を有するエッジの周りの関心領域を抽出し、及び／または配向させ得る。抽出及び（再）配向は任意のシーケンスで発生し得ることは理解できる。７３０及び７４０において、さらに処理することにより、個々のスニペットのレベルでの予測を決定するため、及び画像フレーム内の複数のスニペットを考慮する目的のためなど、スコアリングに関して結果をさらに洗練することができる（以下の図８を参照されたい）。

７３０では、カラー画像（スニペット）は、グレースケールなど、異なるカラーマップに変換され得る。この変換は、線形平坦化近似からカラーチャネルごとの彩度低下まで、様々な方法で実行され得る。一実装例は、例えば、数学処理用の様々な標準ライブラリの一部としての「ｒｇｂ２ｇｒａｙ」関数の形式であり得る。いくつかの実施形態では、幾何平均を使用して、例えば、カラーマップをグレースケールに変換することができ、これは、いくつかの使用例について改善されたコントラストをもたらし得る。

７４０では、スニペットの画像強度が正規化され得る。正規化は、カーブ（例えば、ガウス分布、ローレンツ分布など）に関して行ってもよい。いくつかの実施形態では、スニペットに関する画像強度は、各スニペットの疾患重症度予測と称される場合もある。いくつかの実施形態では、画像強度は、画像フレーム全体の疾患重症度スコアを指してもよい。いくつかの実施形態では、画像強度は、例えば、明るさまたは彩度などの特定の画像特性を指してもよい。

画像フレームからの複数の関心領域（スニペット）の配向及び抽出
図８は、いくつかの実施形態による、スニペットの形態で、画像フレームから複数の関心領域を識別し、配向し、かつ抽出する例８００を示している。

画像フレームが８１０に示され、特定のエッジ値が８２２、８３２、及び８４２において所定のしきい値を超えていると識別され、それぞれが強いエッジ値を有する。８２２、８３２、及び８４２のそれぞれについて、スニペット８２０、８３０、及び８４０の形態のそれぞれの関心領域を、抽出、（再）配向、グレースケール化、及び／または正規化することができる。他の可能なスニペットの中でも、スニペット８２０、８３０、及び８４０は、スニペットごとに予測を生成するための第１のアルゴリズムに基づくなど、個別に評価することができる。第２のアルゴリズムに基づいて、予測スコアは、本明細書に記載の強化された技術のいずれかを適用して、全体として対応する画像フレームに割り当てられる単一の代表スコアの形態で複合画像スコアを形成するために重み付けされ、かつ組み合わされ得る。

画像フレームの適応サンプリング
図１０は、いくつかの実施形態による、相対位置と相関するＰＤＦに関して、すでにスコアリングされた画像フレームのスコアを再割り当てする例１０００を示す。

この例では、相対位置は小腸に沿った距離の観点からであり得る。いくつかの実施形態では、以前にスコアリングされたフレームは、小腸に沿った位置に対応し得、これは、次に、確率値に対応し得る。所与のアルゴリズムを実行して、少なくとも１つのプロセッサ９０４により、いくつかの実施形態による、ＰＤＦまたは相対位置（例えば、０または１）の特定のサンプル画像フレーム及び／または最小もしくは最大制限の１つに対応し得る、任意の所与の点に関するＡＵＣなど、ＰＤＦの曲線下面積（ＡＵＣ）を計算し得る。

上記の所与のアルゴリズムを実行後、所与の画像フレームのセットにおいて、点間の最大のＡＵＣを有するＰＤＦに沿った任意の２つの点について、別のアルゴリズムにより、以前にスコアリングされたフレームに基づいてすでに計算された情報性スコアに関して、任意の介在するまたは隣接するサンプル画像フレームのコスト関数を評価することができる。情報性スコアを決定することに関するさらなる詳細は、本明細書の他の場所、例えば、上記図５の５０４に関して記載されている。

コスト関数が、ＡＵＣが異なる（または異なるスコアの）サンプル画像フレーム間でより均等にバランスが取れ得ると判断した場合、異なる（または異なるスコアの）画像フレームを後続の処理用のサンプル画像フレームとして選択され得る。その後の処理は、スニペットの選択を含み得、これは、いくつかの実施形態によれば、本明細書でさらに説明されるとおり、図１～３、図７、図８、及び図１２に従って実行され得る。

画像フレームの加重選択
図１１は、いくつかの実施形態による、画像フレームの加重選択のための例示的な方法１１００を示す。方法１１００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法１１００のすべてのステップが必要とされない場合がある。さらに、方法１１００のいくつかのステップは、当業者によって理解されるように、同時に、または図１１に示されるものとは異なる順序で実行され得る。

方法１１００は、図９～図１１を参照して記載されなければならない。しかし、方法１１００は、それらの例示的な実施形態のみに限定されない。方法１１００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９の９０４に関して以下に記載される。いくつかの実施形態では、方法１１００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

１１０２では、少なくとも１つのプロセッサ９０４は、相対位置と相関するＰＤＦに沿った所与の点に対して、画像フレームのセットの所与のサンプル画像フレームに対応する最も近い点を決定するように構成され得、所与のサンプル画像フレームは、相対位置と相関するＰＤＦに沿った所与のポイントに最も近いサンプル画像フレームである。相対位置と相関するＰＤＦの例をサンプル画像フレームの相対位置に対応し、ＰＤＦの確率値と相関する点と共に、図１０に示す。いくつかの実施形態では、相対位置のすべての点がサンプル画像フレームに対応するものではないが、任意の所与の点は、画像フレームのセットが空でない限り、画像フレームのセット内のサンプル画像フレームに対応する最も近い点を有し得る。

１１０４では、プロセッサ９０４は、所与の点と、所与のサンプル画像フレーム（最も近いサンプル画像フレーム）に対応する最も近い点との間のＰＤＦに沿った積分を計算するように構成され得る。ＰＤＦに沿った指定された点間のＡＵＣを測定することなど、１１０４を実行するための様々な統合手法が実装され得る。

１１０６では、プロセッサ９０４は、１１０４から得られた積分をＰＤＦの平均値で除算するように構成され得る。いくつかの実施形態では、平均値は、所与の器官の相対位置に関するＰＤＦの平均値であり得る。いくつかの実施形態では、平均値は、ＰＤＦの中央値であり得る。いくつかの実施形態では、ＰＤＦの平均値は、例えば、測定されるかまたはモニターされる標的症状に応じて、所与の器官の相対位置の所与のサブセットまたは範囲（複数可）（例えば、小腸の近位の粘液を除くすべて）に関して計算され得る。この除算１１０６の結果は、相対位置に関するＰＤＦに基づいて、所与のサンプル画像フレームの予想される利益の尺度を示し得る。この除算により、いくつかの実施形態では、平均値１を有する正規化された推定利益測定値となり得（Ｂ）、これは、ＰＤＦに依存し得る。

１１０８では、プロセッサ９０４は、画像フレームのセットの情報スコアに対して平滑化操作（例えば、線形変換、行列変換、移動平均、スプライン、フィルタ、同様のアルゴリズム、またはそれらの任意の組み合わせ）を実行することができ、これにより、画像フレームのセット内の少なくとも１つの画像フレームの情報価値を再割り当てすることができる。プロセッサ９０４は、同じ操作または別の操作で、所与のサンプル画像フレームの情報スコアを、情報スコアが割り当てられているスケールの平均値で除算することができる。例えば、本明細書の他の場所で説明しているとおり、０から３の情報性スケールでは、平均値は１．５である。１１０８のように平均値で除算することにより、利用可能なサンプル画像フレームの全体的な情報量に応じて、いくつかの実施形態では、平均値が１である正規化された情報量測定値（Ｉ）が得られ得る。

いくつかの実施形態によれば、非線形平滑化操作は、個々の画像フレームの選択に対するバイアスを減少させ得るが、線形平滑化操作は、所与の画像フレームのセットの全体的な相関を改善し得る。いくつかの実施形態では、例えば、所定のしきい値を超える収束値または発散値を有する外れ値フレームを除去することにより、残りの画像フレームの情報性の相関を改善し得る。追加的または代替的に、多項式変換、例えば、平均値を既知の曲線値（例えば、ＰＤＦ）に関連付けるように訓練された二次多項式は、残りの画像フレームの相関をさらに改善し得る。他の実施形態では、例えば、他の次数の多項式を使用してもよい。

１１１０では、プロセッサ９０４は、例えば、所与の領域または相対値の範囲に対応する所与の画像フレームのセットまたは画像フレームのサブセットについて、スキップされた画像フレームの数に基づいてペナルティ値を計算し得る。いくつかの実施形態では、ペナルティは、相対位置の測定範囲の所定の割合（例えば、小腸の１８分の１）として定義される幅を有し、いくつかの実施形態では、推定利益及び情報性（例えば、Ｂ＊Ｉ／５０）の正規化された測定値の積の計算された分数（例えば、５０分の１）として定義されるＡＵＣを有するガウスウィンドウに基づいて計算され得る。計算された分数は、選択されたサンプル画像フレームあたりの合計フレームの係数であり得る（例えば、５０フレームから１フレームが選択される）。他の計算された値または所定の値は、例えば、様々な実施形態による、他の使用例、器官、及び／または標的症状のために使用され得る。計算されたペナルティ値の合計は、Ｐとして表され得る。

１１１２では、プロセッサ９０４は、所与のサンプル画像フレームの正味の望ましさスコア（Ｎ）を計算できる。いくつかの実施形態では、１１１２の計算は、Ｎ＝Ｂ＊Ｉ－ＰのＮを評価することができ、項Ｂ、Ｉ、及びＰは、方法１１００に関して上記のように定義することができる。いくつかの実施形態では、Ｎは、例えば、画像フレームのセットまたはそのサブセット内の各画像フレームについて計算され得る。場合によっては、代表的なサンプルの間隔を空けることを容易にするために、Ｎ値の丸めを行って、サンプリングされた画像フレームの分離を改善し、サンプリングされた画像フレームに基づく予測モデルとの過剰フィッテイングの可能性を減らすことができる。

１１１４では、プロセッサ９０４は、その後の評価（例えば、スニペットの選択）のために画像フレームのサンプリングを継続するか否かを決定することができる。１１１４の決定は、１つ以上の条件を伴い得、例えば、所望の数のフレームが得られたか否か、及び／または画像フレームのセットもしくはそのサブセットの正味の望ましさスコアが、許容できるサンプルの所定の範囲内であるか否かを評価する。

関心領域の選択による画像の変換及び再配向
図１２は、いくつかの実施形態による、関心領域の選択を伴う画像変換及び再配向のための例示的な方法１２００を示す。方法１２００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法１２００のすべてのステップが必要とされない場合がある。さらに、方法１２００のいくつかのステップは、当業者によって理解されるように、同時に、または図１２に示されるものとは異なる順序で実行され得る。

方法１２００は、図２、図５、図７～図９、及び図１２を参照して記載されなければならない。しかし、方法１２００は、それらの例示的な実施形態のみに限定されない。方法１２００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９の９０４に関して以下に記載される。いくつかの実施形態では、方法１２００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

１２０２では、少なくとも１つのプロセッサ９０４は、サンプル画像フレームのセットのサンプル画像フレームに対してエッジ検出を実行することができる。様々なエッジ検出技術が本明細書の他の場所で説明されている。１２０２で実行されるエッジ検出としては、例えば、ニューラルネットワークなどによるランダムフォレスト（ＲＦ）予測の使用が含まれ得る。いくつかの実施形態では、１２０２で実行されるエッジ検出は、１２０２で完全に実行されるか、または複数の段階に分割される反復プロセスの一部であり得、そのいくつかは、１２０２及び方法１２００の他の部分で実行され得る。

１２０４では、プロセッサ９０４は、サンプル画像フレームのセットから、例えば、所定のしきい値を超える、画像フレーム面積の少なくとも特定の割合を形成するエッジ領域を含むサンプル画像フレームを決定することができる。場合によっては、プロセッサ９０４は、１２０４において、フレーム面積ごとに少なくとも３％のエッジ領域を有すると決定された場合、サンプル画像フレームを選択し、フレーム面積ごとに３％未満のエッジ領域を有するサンプル画像フレームを無視するかまたは破棄し得る。しかし、一実施形態によれば、より多くのサンプルが必要とされる可能性がある他の場合では、フレームがより少ないエッジ領域面積を有する場合であっても、より多くのフレームを処理できるようにするためにしきい値を下げてもよい。エッジ領域の決定は、いくつかの非限定的な例を挙げれば、プロセッサ９０４が少なくとも１つの指定された確率的またはランダム化アルゴリズム、例えば、データマスキング、シミュレーテッドアニーリング、確率的摂動、近似、最適化、またはそれらの任意の組み合わせを実行することから生じ得る。

１２０６では、プロセッサ９０４は、画像フレームが色を含む場合、少なくとも１つの選択された画像フレームのカラーマップを、例えば、色（ピンク－茶色－緑、赤－緑－青など）からグレースケールに変換してもよい。画像フレームがカラーになっていない場合には、１２０６をスキップしてもよい。カラーからグレースケールに変換するために、プロセッサ９０４は、元の画像からカラー成分を除去できるアルゴリズムを実行することができる（例えば、彩度及び色相値をゼロに設定する）。いくつかの実施形態では、グレースケール画像は、例えば、特定のフォーマットとの互換性のために、グレースケールに対応するカラーデータで符号化され得るが、他の実施形態は、グレー画像値、例えば、白黒輝度または相対輝度値で直接機能し得る。

いくつかの実施形態では、赤－緑－青（ＲＧＢ）値を平均化することができ、例えば、ＲＧＢ値を合計し、３で除算できる。いくつかの実施形態では、ＲＧＢチャネルの加重平均を計算することができ、各チャネルの相対輝度または強度を、全体としてのＲＧＢコンポーネントの加重平均を求めるための各コンポーネントの加重値として使用する。いくつかの実施形態では、グレースケールへの変換は、ＲＧＢ値の幾何平均の計算、例えば、

に基づく輝度の計算を含み得る。エッジ検出及び特定の器官の特定の症状を評価することを目的として、グレースケーリング（カラーからグレースケールへの変換）の幾何平均法により、結果の信頼性（及び再現性）の向上のために、コントラストの向上となり得る。他のタイプの評価、例えば、異なる症状及び／または異なる器官、他のグレースケーリング方法は、所与の目的に対して好適に実行され得る。

１２０８では、プロセッサ９０４は、グレースケール画像フレームを畳み込むことができる。１２０８の畳み込みは、選択されたグレースケール画像フレーム内の湾曲したエッジ、ひだ、及び／または他の水平線を識別するかまたは他の方法で検出することができる。いくつかの実施形態では、例えば、ＣＮＮの訓練に応じて、エッジ曲線は、比較的安定した収束で首尾よく予測され得る。このような水平線（粘膜のひだ／エッジ）は、画像内の様々な角度で５０％のしきい値（例えば、半分黒、半分白）でモノクロ（バイレベル）にフィルタリングされた画像を畳み込むことができるアルゴリズムを介して、及び／または、画像内の様々な角度で明るい線または暗い線を畳み込むことによって検出され得る。所与の画像フレームのセットに存在するデータによっては、１２０８の畳み込みがスキップされてもよい。

１２１０では、プロセッサ９０４は、所与の画像フレーム内の候補点を識別することができ、候補点は、互いに少なくとも所定の最小量の間隔を有するエッジ領域内にある。例えば、所定の最小間隔量は、絶対項（例えば、７ピクセル）；いくつかの実施形態によれば、含まれる画像フレーム、解像度、ピクセルの数または密度（例えば、画像フレームの４％）などに関する相対的な用語、及び／または所与の画像フレーム内のそれぞれのエッジ領域の統計分析（例えば、エッジ特性の標準偏差であり、候補点は、それぞれのエッジ領域の平均エッジ値より少なくとも１標準偏差高いエッジ値を有する）であり得る。

したがって、上記の任意の最小間隔基準は、任意の所与の画像フレーム内の可能な関心領域（例えば、スニペット）の数を制限し得る。１２０４で決定された画像フレーム面積に関するエッジ領域の最小しきい値と同様に、所与の使用例で追加の関心領域が必要とされるかまたは望ましい場合は、候補点または関心領域間の最小距離のしきい値を１２１０において減少させ得る。いくつかの実施形態では、画像フレームのセットまたはそのサブセット内の各画像フレーム、例えば、候補点は、候補点を識別するために、または少なくとも、再現可能な結果となる可能性の高いものを生成するために十分なサンプルにわたって十分な候補点が識別されるまで評価され得る。

１２１２では、プロセッサ９０４は、所与の画像フレーム内の少なくとも１つの関心領域を配向（または再配向）し得る。関心領域の配向または再配向のさらなる例が、図２、図７、及び／または図８のスニペット（関心領域）に関して上記にさらに示され、さらに説明される。セリアック病の症状を評価するために小腸の内側から撮影された画像を評価する使用例を含み得るいくつかの実施形態では、関心領域（スニペット）は、関心領域全体の共通の特徴に対して共通の方向に配向または再配向され得、これにより、例えば、粘膜壁を描写する関心領域のセクションが、少なくとも１つの関心領域が１２１２に従って配向または再配向されたときに、対応する各関心領域の底部に位置付けられるようになる。

いくつかの実施形態によれば、（再）配向された関心領域（スニペット）の例は、図７及び図８に示す。画像フレームのセットの選択された各画像フレームに対して、配向または再配向を繰り返すことができる。関心領域が共通の特徴または任意の特定のフレーム内の関心領域の半径の少なくとも２５％を占める特徴（例えば粘膜）などの共通の強いベクトルを含まない場合には、１２１２の配向または再配向はスキップされ得る。追加的または代替的に、いくつかの実施形態によれば、回転不変フィルタが複数の既存の配向での畳み込み、例えば、８方向畳み込みに使用され得る場合、１２１２はスキップされ得る。

１２１４では、プロセッサ９０４は、偽の結果をもたらす可能性のある関心領域を拒否、無視、またはさもなければ破棄することができる。例えば、気泡、胆汁の流れ、不鮮明な画像などのアーチファクトを含み得る関心領域は、いくつかの非限定的な例を挙げれば、偽の結果をもたらす可能性がある。そのような関心領域を拒否することにより、任意のモニタリングまたは所与の画像フレームもしくは画像フレームのセットの残りの関心領域に基づいて行われた評価もしくは決定から生じる診断の再現性が向上し得る。プロセッサ９０４が拒否するために関心領域を識別し得る方法の例は、図５の５０４に関してなど、上記にさらに記載されている。

いくつかの非限定的な例には、いくつかの実施形態による、ニューラルネットワーク、ＲＦアルゴリズム、ＭＬアルゴリズムなどを使用する処理、所与のしきい値を超える高強度チャネルを有する領域のフィルタリング、または対応する元の画像フレームにおける特定のカラーバランスまたはカラーグラデーションのフィルタリングが含まれる。追加的または代替的に、勾配は、フレームを拒否するための別のメトリックについて、例えば、不鮮明さを評価するために、それらのラプラシアン関数の標準偏差で平均化させ得る。ＰＧＢグラジエント、マルチチャネル強度値、検出された暗い線／エッジ、粘膜スコア、及び／または強度ＰＤＦの統計分析（平均、標準偏差など）、または同様の要因も、いくつかの実施形態によれば、スニペットまたは関心領域を拒否する、無視する、または他の方法で破棄するか否かを判断する因子として使用され得る。

上記のステップのいずれかまたはすべては、いくつかの実施形態では、図２に関してさらに上記に示され、記載されているように、スニペット選択２４０の一部として実行され得る。追加的または代替的に、上記のステップのいずれかまたはすべては、例えば、図５及び図７～図９に示される処理の一部として実行され得る。

後続のスコアリングにおけるバイアスを減少させるための画像スコアリングとフレームの表示
図１３は、いくつかの実施形態による、後続のスコアリングにおけるバイアスを減少させるための画像スコアリング及びフレームの提示のための例示的な方法１３００を示す。方法１３００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法１３００のすべてのステップが必要とされない場合がある。さらに、方法１３００のいくつかのステップは、当業者によって理解されるように、同時に、または図１３に示されるものとは異なる順序で実行され得る。

方法１３００は、図９～図１３を参照して記載されなければならない。しかし、方法１３００は、それらの例示的な実施形態のみに限定されない。方法１３００のステップは、少なくとも１つのメモリデバイスに結合された少なくとも１つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス（複数可）は、図９のプロセッサ９０４に関して以下に記載される。いくつかの実施形態では、方法１３００は、図３のシステム３００によって実行され得、これは、図９のものなどの少なくとも１つのプロセッサ及びメモリをさらに含み得る。

１３０２では、少なくとも１つのプロセッサ９０４が画像化デバイスの出力を受信することができる。画像化デバイスの出力は、例えば小腸などの所与の患者の消化器官の内面を描写し得る画像フレームのセットの少なくともサブセットを形成する画像フレームを含み得る。いくつかの実施形態では、セットのすべての画像フレームが、所与の画像フレームの品質が低い（例えば、不十分な光、反射など）、または画像センサと内面と間の障害物（例えば、気泡、胆汁の流れなど）のために、消化器官の内面を確実に描写し得るわけではない。

サブセットのメンバーは、スコアが、以下の１３０６で割り当てられた第１のスコア、または以前に割り当てられた別のスコアなど、所定のしきい値を超えるか否かによって決定される。これは、例えば、所与の画像フレームの信頼性、情報性、または他の尺度を示し得る。追加的または代替的に、サブセットのメンバーは、例えば消化器官内の相対位置、経過時間、または他の外部メトリックなどの他の要因によって決定され得、これは、いくつかの実施形態では、所与の患者における所与の疾患の症状を示す画像の可能性など、対応する画像フレームの信頼性または情報性と相関し得る。

１３０４では、プロセッサ９０４は、少なくとも１つの機械学習（ＭＬ）アルゴリズムを介して、複数の画像フレームのうちの少なくとも１つの画像フレームを複数の関心領域に自動的に分解することができる。少なくとも１つの関心領域は、プロセッサ９０４によって、エッジ値（例えば、少なくとも１つの画像フレームの各画像フレーム内）が所定のしきい値を超えることを決定することによって定義され得る。エッジ値は、少なくとも１つのタイプのエッジ検出アルゴリズムを介して決定することができ、またプロセッサ９０４によって所定のしきい値と比較し得る。所定のしきい値を超えるエッジ値を有する所与のエッジの場合、関心領域は、いくつかの実施形態では、例えば、最小面積、対応する画像フレームの面積の最大割合（パーセンテージ）に一致し得る形状及びサイズを有するエッジの近傍、及び／または対応する画像フレーム内の別の関心領域への近接の半径または他の周囲長によって定義され得る。

１３０６では、プロセッサ９０４は、１３０４で決定された少なくとも１つの対応する画像フレームから分解されたときに、各関心領域のエッジ値に少なくとも部分的に基づいて、第１のスコアを自動的に割り当て得る。自動割り当ては、いくつかの実施形態では、少なくとも１つのニューラルネットワークによって実行され得、これは、例えば、上記でさらに説明されるように、ランダムフォレスト回帰などの少なくとも１つの追加のＭＬアルゴリズムを実装し得る。第１のスコアの自動割り当ては、エッジ検出、関心領域の順次処理、関心領域のランダム処理などのイベントに応答することができる。

いくつかの実施形態では、第１のスコアは、全体として対応する画像フレームに起因し得、第１のスコアは、例えば、対応する画像フレーム全体の情報性を表すために、対応する画像フレーム内の少なくとも１つの関心領域に基づくことができる。いくつかの実施形態では、第１のスコアのインスタンスは、例えば、各関心領域に自動的に割り当てられ得、第１のスコアの複合値は、対応する画像フレームについて計算され得る。

１３０８では、プロセッサ９０４は、画像フレームのセットを自動的にシャッフルすることができる。いくつかの実施形態では、シャッフルすることは、例えば、疑似乱数発生器によって生成された数による選択及び／または順序付けなどのランダム化を伴い得る。いくつかの実施形態は、画像フレームのサブセットのその後のレビュー及び／またはスコアリングにおけるバイアスを減少させるために計算された少なくとも１つのアルゴリズムに従って、系統的にシャッフリングを実装することができる。

例えば、画像フレームのセットのメンバーであるが、画像フレームのサブセットのメンバーではない画像フレーム、または第１のスコアが所定のしきい値を下回る画像フレームは、所定のしきい値を満たすかまたは超える第１のスコアを有する画像フレームの中でも、完全に自動化された方法で系統的に散在させることができる。したがって、そのような実施形態では、例えば、シャッフリングアルゴリズムは、しきい値を超えるまたはしきい値を下回るスコアを有し得る画像フレームの比較的長いシーケンスを防止するか、さもなければ中断することができる。そのようなシーケンスを回避するかまたは分割することにより、シャッフリングアルゴリズムは、いくつかの実施形態による、所定のしきい値超えるかまたは下回る比較的長い画像フレームのシーケンスの結果として、自動ＭＬアルゴリズム及び／または手動のヒトのレビューアによるその後のレビュー及び／またはスコアリングから生じ得るバイアスまたは疲労を軽減し得る。

１３１０では、プロセッサ９０４は、シャッフル後に画像フレームのセットの提示を出力することができる。提示することは、シャッフルされた画像フレームの提示を有するスライドショーなどの視覚的表示であり得る。自動提示は、シャッフルの順序で自動的に進められ得、かつ自動提示は、例えば、時間間隔及び／または位置間隔などの追加の編成スキームに従ってさらに配置され得るかまたは提示され得る。追加的または代替的に、任意のシャッフリングアルゴリズムの補完または代替として、提示することは、画像フレームのサブセットまたはセットのその後のレビュー及び／またはスコアリングにおけるバイアス及び／または疲労をさらに軽減し得る方法で編成され得る。

例えば、画像フレームの編成された提示は、画像フレームの各々（または特定の選択された画像フレーム）が、いくつかの実施形態では、連続して任意の所与の画像フレームの表示時間または視覚的間隔（例えば、同時に表示される画像フレーム間の距離）に関してなど、例えば、所定の間隔、ランダム化された間隔、または系統的に分離された間隔によって、視覚的なスライドショーで提示され得る時間的間隔を含み得る。本明細書で使用される場合、「順序」は、いくつかの実施形態では、上記の１３０８によりシャッフルされた、画像フレームのシャッフルデッキにおける１つの画像フレームから次の画像フレームへの順序を示し得るが、これは、例えば、画像化デバイスまたは消化器官の任意の出力による任意の所定の順序である必要はない。バイアス及び／または疲労を軽減するために、画像フレームのセットのメンバーの視覚的表示または他の提示を編成する他の形態は、本開示の範囲内で実現され得る。

方法１３００のいくつかの実施形態は、画像フレームのセットの提示に第２のスコアを割り当てることをさらに含み得る。第２のスコアは、例えば、症状の重症度の表現を含み得る。いくつかの実施形態では、第２のスコアは、例えば、プロセッサ９０４を介して自動的に、または１３１０の提示を評価するレビューアを介して手動で割り当てられ得る。

方法１３００後、関連する値（例えば、エッジ値、スコアなど）を、関心領域、対応する画像フレーム、及び／または画像フレームの（サブ）セットなどの情報に割り当てることによって、情報をシャッフルすることができるか、または他の方法で再配置され、編成された方法で提示される。したがって、情報は、同じ情報の表示に関して、新しい独自の方法で再構成され得る。

方法１３００のさらなる反復は、少なくとも部分的に１３１０の出力に基づいて、少なくとも１つのＭＬアルゴリズムを監視または訓練するために使用され得る。少なくとも１つのＭＬアルゴリズムの監視または訓練は、画像化デバイスの出力のための事前定義された開始点及び終了点を伴い得る。少なくとも１つのＭＬアルゴリズムを十分に監視または訓練した後、少なくとも１つのＭＬアルゴリズムは、少なくとも１つのプロセッサ９０４を介するなど、完全に自動化された方法で方法１３００を実行し得る。

コンピュータシステムの実施例
様々な実施形態は、例えば、図９に示すコンピュータシステム９００などの１つ以上のコンピュータシステムを使用して実施され得る。１つ以上のコンピュータシステム９００を使用して、例えば、本明細書で説明する実施形態のいずれか、ならびにそれらの組み合わせ及びサブコンビネーションを実装することができる。

コンピュータシステム９００は、プロセッサ９０４などの１つ以上のプロセッサ（中央処理装置またはＣＰＵとも呼ばれる）を備え得る。プロセッサ９０４は、バスまたは通信インフラストラクチャ９０６に接続され得る。

コンピュータシステム９００はまた、モニター、キーボード、ポインティングデバイスなどユーザ入力／出力デバイス８０３（複数可）を含み得、これは、ユーザ入力／出力インターフェース（複数可）９０２を介して通信インフラストラクチャ９０６と通信することができる。

プロセッサ９０４のうちの１つ以上は、グラフィックス処理ユニット（ＧＰＵ）であり得る。一実施形態では、ＧＰＵは、数学的に集中的な（ｍａｔｈｅｍａｔｉｃａｌｌｙ ｉｎｔｅｎｓｉｖｅ）アプリケーションを処理するように設計された特殊な電子回路であるプロセッサであり得る。ＧＰＵは、コンピュータグラフィックスアプリケーション、画像、ビデオ、ベクトル処理、アレイ処理などに共通の数学的に集中的なデータ、及び暗号化（ブルートフォースクラッキングなど）など、データの大きいブロックの並列処理に効率的な並列構造を有し得、暗号化ハッシュまたはハッシュシーケンスの生成、部分的なハッシュ反転の問題の解決、及び／または一部のブロックチェーンベースのアプリケーションに対する他のプルーフオブワーク計算の結果の生成を行う。ＧＰＵは、少なくとも本明細書で説明される画像分析及びＭＬの態様において特に有用であり得る。

さらに、プロセッサ９０４の１つ以上は、暗号計算を加速するためのロジックのコプロセッサもしくは他の実装、またはハードウェア加速暗号コプロセッサなど、他の特殊な数学関数を含み得る。そのような加速されたプロセッサは、そのような加速を容易にするためにコプロセッサ及び／または他のロジックを使用して加速するための命令セット（複数可）をさらに含み得る。

コンピュータシステム９００はまた、ランダムアクセスメモリ（ＲＡＭ）などのメインメモリまたはプライマリメモリ９０８を含み得る。メインメモリ９０８は、１つ以上のレベルのキャッシュを含み得る。メインメモリ９０８は、その中に制御ロジック（すなわち、コンピュータソフトウェア）及び／またはデータを格納し得る。

コンピュータシステム９００はまた、１つ以上の二次ストレージデバイスまたは二次メモリ９１０を含み得る。二次メモリ９１０は、例えば、メインストレージドライブ９１２及びリムーバブルストレージドライブまたはドライブ９１４を含み得る。メインストレージドライブ９１２は、例えば、ハードディスクドライブまたはソリッドステートドライブであり得る。リムーバブルストレージドライブ９１４は、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、コンパクトディスクドライブ、光ストレージデバイス、テープバックアップデバイス、及び／または任意の他のストレージデバイス／ドライブであり得る。

リムーバブルストレージドライブ９１４は、リムーバブルストレージユニット９１８と相互作用し得る。リムーバブルストレージユニット９１８は、コンピュータソフトウェア（制御ロジック）及び／またはデータをその上に格納した、コンピュータ使用可能または読み取り可能なストレージデバイスを備え得る。リムーバブルストレージユニット９１８は、フロッピー（登録商標）ディスク、磁気テープ、コンパクトディスク、ＤＶＤ、光記憶ディスク、及び／または他の任意のコンピュータデータストレージデバイスであり得る。リムーバブルストレージドライブ９１４は、リムーバブルストレージユニット９１８からの読み取り及び／またはリムーバブルストレージユニット９１８への書き込みを行うことができる。

二次メモリ９１０は、コンピュータプログラム及び／または他の命令及び／またはデータがコンピュータシステム９００によってアクセスされることを可能にするための他の手段、デバイス、コンポーネント、機器または他のアプローチを含み得る。そのような手段、デバイス、コンポーネント、機器、または他のアプローチは、例えば、リムーバブルストレージユニット９２２及びインターフェース９２０を備え得る。リムーバブルストレージユニット９２２及びインターフェース９２０の例は、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるものなど）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）及び関連するソケット、メモリスティック、及びメモリスティック、ＵＳＢポート、メモリカード、及び関連するメモリカードスロット、及び／または他のリムーバブルストレージユニット、及び関連するインターフェースを挙げることができる。

コンピュータシステム９００は、通信またはネットワークインターフェース９２４をさらに含み得る。通信インターフェース９２４は、コンピュータシステム９００が、外部デバイス、外部ネットワーク、外部エンティティなどの任意の組み合わせ（参照番号９２８によって個別に及び集合的に参照される）と通信し、相互作用することを可能にし得る。例えば、通信インターフェース９２４は、コンピュータシステム９００が、有線及び／または無線（またはそれらの組み合わせ）であり得る通信経路９２６を介して外部または遠隔デバイス９２８と通信することが可能になり得、これは、ＬＡＮ、ＷＡＮ、インターネットなど任意の組み合わせを含み得る。制御ロジック及び／またはデータは、通信経路９２６を介してコンピュータシステム９００との間で送受信され得る。

コンピュータシステム９００はまた、いくつかの非限定的な例を挙げると、パーソナルデジタルアシスタント（ＰＤＡ）、デスクトップワークステーション、ラップトップまたはノートブックコンピュータ、ネットブック、タブレット、スマートフォン、スマートウォッチまたは他のウェアラブル、アプライアンス、モノのインターネット（ＩｏＴ）の一部、及び／または組み込みシステム、またはそれらの任意の組み合わせのうちのいずれかであり得る。

本明細書に記載のフレームワークは、方法、プロセス、装置、システム、または非一時的コンピュータ可読媒体またはデバイスなどの製造品として実装され得ることが理解されるべきである。説明の目的で、本発明のフレームワークは、公開されている、または少なくとも信頼できない第三者が利用できる分散型台帳のコンテキストで説明できる。現代の使用例としての１つの例は、ブロックチェーンベースのシステムである。しかし、本発明のフレームワークは、極秘情報または機密情報が信頼できない第三者の手によってまたは介して渡る必要があり得る他の設定にも適用され得、この技術は、分散型台帳またはブロックチェーンの使用に限定されないことを理解するべきである。

コンピュータシステム９００は、任意の配信パラダイムを介して任意のアプリケーション及び／またはデータにアクセスするかまたはホストするクライアントまたはサーバーであり得、これらに限定されないが、リモートまたは分散型クラウドコンピューティングソリューション；ローカルまたはオンプレミスソフトウェア（例えば、「オンプレミス」のクラウドベースソリューションなど）；「サービスとしての」モデル（例：サービスとしてのコンテンツ（ＣａａＳ）、サービスとしてのデジタルコンテンツ（ＤＣａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのマネージドソフトウェア（ＭＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのデスクトップ（ＤａａＳ）、サービスとしてのフレームワーク（ＦａａＳ）、サービスとしてのバックエンド（ＢａａＳ）、サービスとしてのモバイルバックエンド（ＭＢａａＳ）、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのデータベース（ＤＢａａＳ）など）；及び／または前述の実施例もしくは他のサービスまたは配信パラダイムの任意の組み合わせを含むハイブリッドモデルが挙げられる。

適用可能な任意のデータ構造、ファイル形式、及びスキーマは、これらに限定されないが、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）、Ｙｅｔ Ａｎｏｔｈｅｒ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＹＡＭＬ）、Ｅｘｔｅｎｓｉｂｌｅ Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＨＴＭＬ）、Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＷＭＬ）、ＭｅｓｓａｇｅＰａｃｋ、ＸＭＬユーザーインターフェース言語（ＸＵＬ）、または任意の他の機能的に類似した表現を単独で、または組み合わせたものであり得る。あるいは、独自のデータ構造、フォーマット、またはスキーマを、排他的に、または既知の標準またはオープン標準と組み合わせて使用してもよい。

関連するデータ、ファイル、及び／またはデータベースは、数値、テキスト、グラフィック、またはマルチメディア形式などのヒトが可読可能な形式、さらに、他の可能な形式の中でも、様々な種類のマークアップ言語などで格納、取得、アクセス、及び／または送信させ得る。代替的には、または上記のフォーマットと組み合わせて、データ、ファイル、及び／またはデータベースは、バイナリ、エンコード、圧縮、及び／または暗号化形式、または他の任意の機械可読形式で格納、検索、アクセス、及び／または送信され得る。

様々なシステム及びレイヤー間のインターフェースまたは相互接続では、任意の数のプロトコル、プログラムフレームワーク、フロアプラン、またはアプリケーションプログラミングインターフェース（ＡＰＩ）など、これらに限定されないが、ドキュメントオブジェクトモデル（ＤＯＭ）、ディスカバリサービス（ＤＳ）、ＮＳＵｓｅｒＤｅｆａｕｌｔｓ、ウェブサービス記述言語（Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ（ＷＳＤＬ））、メッセージ交換パターン（ＭＥＰ）、ウェブ分散データ交換（Ｗｅｂ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｅｘｃｈａｎｇｅ、ＷＤＤＸ）、ウェブハイパーテキストアプリケーション技術ワーキンググループ（Ｗｅｂ Ｈｙｐｅｒｔｅｘｔ Ａｐｐｌｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ（ＷＨＡＴＷＧ））、ＨＴＭＬ５ウェブメッセージング、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴまたはＲＥＳＴｆｕｌ ウェブサービス）、拡張可能ユーザインターフェースプロトコル（Ｅｘｔｅｎｓｉｂｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｐｒｏｔｏｃｏｌ（ＸＵＰ））、シンプルオブジェクトアクセスプロトコル（Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ（ＳＯＡＰ））、ＸＭＬスキーマ定義（ＸＭＬ Ｓｃｈｅｍａ Ｄｅｆｉｎｉｔｉｏｎ（ＸＳＤ））、ＸＭＬレモートプロシージャ呼出し（ＸＭＬ Ｒｅｍｏｔｅ Ｐｒｏｃｅｄｕｒｅ Ｃａｌｌ、ＸＭＬ－ＲＰＣ）、または、同様の機能及び結果を達成し得るオープンまたは独自仕様の任意の他の機構など、任意の数の機構を使用し得る。

そのようなインターフェースまたは相互接続はまた、ユニフォームリソース識別子（ＵＲＩ）を利用し得、これは、ユニフォームリソースロケーター（ＵＲＬ）またはユニフォームリソース名（ＵＲＮ）をさらに含み得る。ユニフォーム及び／または一意の識別子、ロケータ、または名前の他の形式が、排他的にまたは上記のような形式と組合せて使用されてもよい。

上記のプロトコルまたはＡＰＩのいずれも、任意のプログラミング言語、手続き型、関数型、またはオブジェクト指向型とインターフェースしてもよく、またはそれらで実装されてもよく、コンパイルまたは解釈されてもよい。非限定的な例としては、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、Ｇｏ、Ｒｕｂｙ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＷｅｂＡｓｓｅｍｂｌｙ、またはほぼすべての任意の他の言語を、任意の他のライブラリもしくはスキーマで、これらに限定しないが、多くの他の非限定的な例の中で、Ｎｏｄｅ．ｊｓ、Ｖ８、Ｋｎｏｃｋｏｕｔ、ｊＱｕｅｒｙ、Ｄｏｊｏ、Ｄｉｊｉｔ、ＯｐｅｎＵＩ５、ＡｎｇｕｌａｒＪＳ、Ｅｘｐｒｅｓｓ．ｊｓ、Ｂａｃｋｂｏｎｅ．ｊｓ、Ｅｍｂｅｒ．ｊｓ、ＤＨＴＭＬＸ、Ｖｕｅ、Ｒｅａｃｔ、Ｅｌｅｃｔｒｏｎなど、任意の種類のフレームワーク、実行時環境、仮想マシン、インタプリタ、スタック、エンジン、または類似の機構に含む。

いくつかの実施形態では、制御ロジック（ソフトウェア）が格納された有形の非一時的なコンピュータ使用可能または可読媒体を含む有形の非一時的な装置または製造品は、本明細書ではコンピュータプログラム製品またはプログラムストレージデバイスとも呼ばれ得る。これとしては、これらに限定されないが、コンピュータシステム９００、メインメモリ９０８、二次メモリ９１０、及びリムーバブルストレージユニット９１８及び９２２、ならびに上記の任意の組合せを組み込む有形の製造品が挙げられる。そのような制御ロジックは、（コンピュータシステム９００など）１つ以上のデータ処理デバイスによって実行されるときに、そのようなデータ処理デバイスに、本明細書で説明するように動作させ得る。

本開示に含まれる教示に基づいて、データ処理デバイス、コンピュータシステム、及び／または図９に示したもの以外のコンピュータアーキテクチャを使用して、本開示の実施形態を作成及び使用する方法が関連技術分野（複数可）の当業者には明らかであろう。特に、実施形態は、本明細書に記載されているもの以外のソフトウェア、ハードウェア、及び／またはオペレーティングシステムの実装で動作することができる。

結論
詳細な説明のセクションは、任意の他のセクションではなく、特許請求の範囲を解釈するために使用されることが意図されていることを理解されたい。他のセクションは、発明者（ら）によって意図されるものとして、１つ以上ではあるがすべてではない例となる実施形態を示し得、したがって、本開示または添付の特許請求の範囲を如何様にも限定するものではない。

本開示は、例示的な分野及び用途についての例示的な実施形態を記載するが、本開示はそれに限定されないことを理解されたい。本発明の他の実施形態及び修正が可能であり、本開示の範囲及び意図の範囲内である。例えば、本段落の一般性を制限することなく、実施形態は、図に示され、及び／または本明細書で説明されるソフトウェア、ハードウェア、ファームウェア、及び／またはエンティティに限定されない。さらに、実施形態（本明細書に明示的に記載されているか否かにかかわらず）は、本明細書に記載されている例を超えて、分野及び用途に対する重要な有用性を有する。

実施形態は、特定される機能及びその関係性の実装を例示する機能的ブロックを活用して本明細書において説明された。これらの機能ビルディングブロックの境界線は、記述上の便宜のためにここに恣意的に定義されたものである。その特定の機能の実現及び関係が適切に遂行される限りにおいて、別の境界線が定義され得る。また、代替の実施形態は、本明細書に記載された順序とは異なる順序を使用して、機能ブロック、ステップ、動作、方法などを実行することができる。

本明細書における「一実施形態」、「実施形態」、「実施形態の例」、「いくつかの実施形態」、または同様の句への言及は、記載の実施形態が特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施形態が特定の特徴、構造、または特性を必ずしも含むことはできない。その上、かかる言いまわしは、同一の実施形態を必ずしも指すわけではない場合がある。さらに、特定の特徴、構造、または特性が、実施形態に関連して記述されるとき、本明細書で明示的に言及または説明されているか否かにかかわらず、そのような特徴、構造、または特性を他の実施形態に組み込むことは、関連技術分野（複数可）の当業者の知識の範囲内であろう。さらに、いくつかの実施形態は、「連結される」及び「接続される」という表現及びこれらの派生語を用いて記載され得る。これらの用語が必ずしも互いに同義語として意図されているとは限らない。例えば、いくつかの実施形態は、２つ以上の要素が物理的または電気的に互いに直接的に接触していることを示すために「接続される」及び／または「連結される」という用語を使用して説明することができる。ただし、「連結」という用語は、２つ以上の要素が相互に直接接触状態にはないが、相互に連携または相互作用することも意味することもできる。

本開示の広がりや範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲やそれらの等価物に従ってのみ定義されるべきである。

Claims (45)

1. コンピュータ実装方法であって、
   少なくとも１つのプロセッサを介して、画像フレームのセットを受信することであって、
   前記画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写している、前記受信することと、
   前記少なくとも１つのプロセッサを介して、前記画像フレームのセットの各画像フレームに第１のスコアを自動的に割り当てることであって、
   前記第１のスコアが、前記消化器官の前記内面上の所与の特徴の存在または不在を描写する前記画像フレームの可能性に関する前記画像フレームの情報性に対応する、前記割り当てることと、
   前記少なくとも１つのプロセッサを介して、指定された範囲内の前記第１のスコアを有する各画像フレームに第２のスコアを自動的に割り当てることであって、
   前記第２のスコアが、前記所与の特徴の重症度に対応する、前記割り当てることと、
   前記少なくとも１つのプロセッサを介して、前記第１のスコアまたは前記第２のスコアのうちの少なくとも１つに従って前記画像フレームのセットを自動的に配置することと、を含む、前記方法。
2. 前記配置することは、前記第１のスコア及び前記第２のスコアのうちの少なくとも１つに関して、
   前記画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、
   前記画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、
   スコアのランダムな順序で前記画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または
   異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、前記アレイ内の前記画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有する前記アレイ内の隣接する画像フレームの数は、所定のしきい値を満たすか、または超える、前記位置付けること、のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記少なくとも１つのプロセッサによって、前記画像フレームのセットの第１の画像フレームをレビューアに自動的に提示することと、
   前記画像フレームが自動的に配置された順序で、前記少なくとも１つのプロセッサによって、前記画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、をさらに含む、請求項２に記載の方法。
4. 前記画像フレームのセットの各画像フレームからのメタデータを解析することであって、前記メタデータが、タイムスタンプ、位置、前記消化器官内の相対位置、及び少なくとも１つの画像プロパティのうちの少なくとも１つを含む、前記解析することと、
   少なくとも部分的に前記メタデータに基づいて、前記少なくとも１つのプロセッサによって、前記画像フレームのセットから前記画像フレームの少なくとも１つを自動的に選択することと、をさらに含む、請求項１に記載の方法。
5. 前記選択することは、所与の画像フレームについて、
   前記少なくとも１つのプロセッサによって、
   前記第１のスコアまたは前記第２のスコアが所定のしきい値を満たしていないか；
   視覚的アーチファクトが前記画像フレーム内に存在すると判断されるか否か；
   タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、前記画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か；
   前記所与の画像フレームの別の画像フレームへの相対的近接性が、前記消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否か；のうちの少なくとも１つを自動的に決定することと：
   前記決定に基づいて、前記少なくとも１つのプロセッサによって、前記画像フレームのセットから前記所与の画像フレームを自動的に除去することと、をさらに含む、請求項４に記載の方法。
6. 前記除去することは、前記画像フレームが前記画像フレームのセットのメンバーとして扱われないように、前記画像フレームに再ラベル付けすることを含む、請求項５に記載の方法。
7. 前記所与の画像フレームが、
   ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び前記少なくとも１つのスコアの値の変化によるサンプリングのうちの少なくとも１つによって選択される、請求項５に記載の方法。
8. 前記消化器官が、食道、胃、小腸、及び大腸のうちの少なくとも１つを含む、請求項１に記載の方法。
9. 前記画像フレームのセットは、画像生成が可能であり、
   写真画像フレーム、超音波画像フレーム、放射線画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも１つを含む、少なくとも１つの画像化デバイスに由来する、請求項１に記載の方法。
10. 前記少なくとも１つの画像化デバイスが、
    経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、Ｘ線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも１つのデバイスを含む、請求項９に記載の方法。
11. 前記少なくとも１つのスコアに基づいて、前記少なくとも１つのプロセッサによって、前記所与の患者の前記消化器官に関する疾患の診断を自動的に生成することをさらに含む、請求項１に記載の方法。
12. 前記診断が、刺激物に対する前記所与の患者の反応の観察に応答して、または前記疾患に関して前記所与の患者に投与された治療に応答して生成される、請求項１１に記載の方法。
13. 前記疾患が、クローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも１つを含む、請求項１１に記載の方法。
14. 前記画像フレームのセットが複数の均質な画像を含む、請求項１に記載の方法。
15. 少なくとも前記第１のスコア及び前記第２のスコアを割り当てることが、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも１つの人工ニューラルネットワークのうちの少なくとも１つに対応するアルゴリズムに従って実行される、請求項１に記載の方法。
16. 前記少なくとも１つの人工ニューラルネットワークが、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つを含む、請求項１５に記載の方法。
17. 前記フィードフォワードニューラルネットワークが、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダのうちの少なくとも１つに対応する、請求項１５に記載の方法。
18. コンピュータ実装方法であって、
    少なくとも１つのプロセッサを介して、画像フレームのセットを受信することであって、
    前記画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写している、前記受信することと、
    前記少なくとも１つのプロセッサによって、前記画像フレームのセットの画像フレーム内の少なくとも１つの関心領域を自動的に抽出することであって、
    前記少なくとも１つの関心領域が、前記少なくとも１つのプロセッサによって、エッジ値が所定のしきい値を超えることを決定することによって定義される、前記抽出することと、
    少なくとも部分的に前記エッジ値に基づいて、前記少なくとも１つのプロセッサによって、前記少なくとも１つの関心領域を自動的に配向することと、
    前記画像フレームに対応する少なくとも１つのスコアを決定するために、前記少なくとも１つのプロセッサを介して、前記少なくとも１つの関心領域を、人工ニューラルネットワークに自動的に入力することであって、前記少なくとも１つのスコアが、前記消化器官または前記所与の特徴の重症度に影響を与える所与の特徴を示すために前記画像フレームの情報の少なくとも１つを表す、前記入力することと、
    前記少なくとも１つの関心領域を前記入力することに応答して、前記人工ニューラルネットワークの出力に基づいて、前記少なくとも１つのプロセッサを介して、前記少なくとも１つのスコアを前記画像フレームに自動的に割り当てることと、を含む、前記方法。
19. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの関心領域から少なくともいくつかのカラーデータを自動的に除去すること、または
    前記少なくとも１つのプロセッサによって、前記少なくとも１つの関心領域をグレースケールに自動的に変換すること、をさらに含む、請求項１８に記載の方法。
20. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの関心領域の少なくとも１つの画像属性を自動的に正規化すること、をさらに含む、請求項１８に記載の方法。
21. 前記少なくとも１つの画像属性が強度を含む、請求項２０に記載の方法。
22. 前記画像フレーム内の関心領域が前記画像フレームの総面積の２５パーセントを超えない、請求項１８に記載の方法。
23. 前記画像フレーム内の各関心領域が、前記画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する、請求項１８に記載の方法。
24. 前記少なくとも１つの人工ニューラルネットワークが、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも１つを含む、請求項１８に記載の方法。
25. 前記フィードフォワードニューラルネットワークが、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも１つに対応する、請求項２４に記載の方法。
26. 前記少なくとも１つのプロセッサによって、前記画像フレームのセットの追加の画像フレーム内の少なくとも１つの追加の関心領域を自動的に識別することであって、前記追加の画像フレーム及び前記画像フレームはそれぞれ、前記画像フレームのセットからの均質な画像を表す、前記識別することと、
    前記少なくとも１つのプロセッサを介して、前記少なくとも１つの追加の関心領域を前記人工ニューラルネットワークに自動的に入力することと、
    前記少なくとも１つの追加の関心領域を前記入力することに応答して、前記人工ニューラルネットワークの前記出力に基づいて、前記少なくとも１つのプロセッサを介して、少なくとも１つの追加のスコアを前記画像フレームのセットの前記追加の画像フレームに自動的に割り当てることと、をさらに含む、請求項１８に記載の方法。
27. 前記少なくとも１つのスコアが少なくとも１つの決定木によって決定される、請求項１８に記載の方法。
28. 前記少なくとも１つの決定木が、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも１つの一部である、請求項２７に記載の方法。
29. 前記少なくとも１つの決定木が、少なくとも１つの分類器を含む、請求項２７に記載の方法。
30. 前記少なくとも１つのプロセッサを介して、少なくとも部分的に前記少なくとも１つの決定木に基づいて少なくとも１つの回帰を生成することをさらに含む、請求項２７に記載の方法。
31. 前記少なくとも１つの回帰が、
    線形モデル、カットオフ、加重曲線、ガウス関数、ガウスフィールド、ベイズ予測、またはそれらの組み合わせのうちの少なくとも１つを含む、請求項３０に記載の方法。
32. コンピュータ実装方法であって、
    少なくとも１つのプロセッサを介して、第１の機械学習（ＭＬ）アルゴリズムへの入力のために、画像フレームの第１のセット及び対応する第１のメタデータセットを受信することと、
    前記プロセッサを介して、画像フレームの前記第１のセット及び前記対応する第１のメタデータセットを前記第１のＭＬアルゴリズムに入力することと、
    前記少なくとも１つのプロセッサを介して、前記第１のＭＬアルゴリズムからの出力として、画像フレームの第２のセット及び対応する第２のメタデータセットを生成することであって、
    画像フレームの前記第２のセットが、画像フレームの前記第１のセットのタグ付けされたバージョン及び画像フレームの前記第１のセットの修正されたバージョンのうちの少なくとも１つに対応し、
    前記第２のメタデータセットが、画像フレームの前記第２のセットの少なくとも１つの画像フレームに対応する少なくとも１つのスコアを含む、前記生成することと、
    前記少なくとも１つのプロセッサを介して、画像フレームの前記第２のセット及び前記第２のメタデータセットを第２のＭＬアルゴリズムに入力して、画像フレームの洗練されたセット、または画像フレームの前記洗練されたセットに対応する洗練されたメタデータのうちの少なくとも１つを生成することと、を含む、前記方法。
33. 前記第１のＭＬアルゴリズム及び前記第２のＭＬアルゴリズムが、異なるカテゴリのＭＬアルゴリズムに属する、請求項３２に記載の方法。
34. 前記第１のＭＬアルゴリズム及び前記第２のＭＬアルゴリズムは、ＭＬアルゴリズムの単一のカテゴリの別個のアルゴリズムである、請求項３２に記載の方法。
35. 前記第１のＭＬアルゴリズム及び前記第２のＭＬアルゴリズムが、同じＭＬアルゴリズムの異なる反復またはエポックを含む、請求項３２に記載の方法。
36. 画像フレームの前記第１のセットが、前記所与の患者の前記消化器官を描写する複数の画像フレームと、少なくとも１名の他の患者の対応する消化器官を描写する少なくとも１つの追加の画像フレームとを含む、請求項３２に記載の方法。
37. 前記少なくとも１つのプロセッサによって、任意の他の画像フレームとは別に、前記所与の患者の前記消化器官の前記内面を描写する画像フレームを自動的に選択すること、または
    前記少なくとも１つのプロセッサによって、前記所与の患者の前記消化器官の前記内面を描写する前記画像フレームのセットのサブセットの画像フレームを、前記少なくとも１名の他の患者の前記消化器官に対応する前記少なくとも１つの追加の画像フレームと共に自動的に選択すること、のうちの１つをさらに含み、これにより、前記所与の患者の前記消化器官を描写する前記選択された画像フレームが、前記少なくとも１名の他の患者の前記対応する消化器官を描写する前記少なくとも１つの画像フレームと散在するようになる、請求項３６に記載の方法。
38. 前記第２のＭＬアルゴリズムが、前記第１のＭＬアルゴリズム及び第３のＭＬアルゴリズムのうちの少なくとも１つの入力として使用される出力を生成するように構成される、請求項３２に記載の方法。
39. メモリと、
    請求項１８に記載の方法を含む操作を実行するように構成されている少なくとも１つのプロセッサと、を含む、システム。
40. 少なくとも１つのコンピューティングデバイスによって実行されたときに、前記少なくとも１つのコンピューティングデバイスに、請求項１８に記載の方法を含む操作を実行させる命令が格納された、非一時的コンピュータ可読ストレージ媒体。
41. 患者が摂取したカメラから出力された画像フレームを受信することと、
    前記画像フレームを複数の関心領域に分解することと、
    前記複数の関心領域に基づいて、前記画像フレームに値を割り当てることと、
    複数の画像フレームに対して、前記受信すること、前記分解すること、及び前記割り当てることを繰り返すことと、
    それぞれの値が割り当てられた前記複数の画像フレームから、複数の選択された画像フレームを選択することであって、
    各画像フレームの前記それぞれの値が、所与のしきい値を上回っている、前記選択することと、
    前記複数の選択された画像フレームからスライドデッキを生成することと、
    一次元スコアを使用して前記スライドデッキを評価する読者に前記スライドデッキが提示されることであって、
    前記スライドデッキがシャッフルされ、前記読者のバイアスを減少させるために計算された編成された方法で提示されることと、
    前記複数の画像フレームの１つ以上の画像フレーム、及び前記値または前記一次元スコアのうちの少なくとも１つに基づいて、完全に自動化された方法で前記分解及び前記割り当てを実行するように構成された機械学習（ＭＬ）アルゴリズムを監視することと、を含む、前記方法。
42. 方法であって、
    少なくとも１つのプロセッサを介して、画像フレームのセットを受信することであって、
    前記画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写している、前記受信することと、
    前記少なくとも１つのプロセッサを介して、前記画像フレームのセットの各画像フレームにスコアを自動的に割り当てることであって、
    前記スコアが、前記消化器官の内面上の所与の特徴の存在または不在を描写する前記画像フレームの可能性を定量化し、小腸腸疾患の病状を評価するために使用される、前記割り当てることと、を含む、前記方法。
43. 前記少なくとも１つのプロセッサを介して、第２のスコアを前記画像フレームに割り当てることであって、前記第２のスコアは、前記所与の特徴の重大度に対応する、前記割り当てることをさらに含む、請求項４２に記載の方法。
44. 前記少なくとも１つのプロセッサを介して、前記第２のスコアを使用して疾患の悪化または疾患の改善をモニターすることをさらに含む、請求項４３に記載の方法。
45. 前記消化器官の一部に対する疾患の影響の程度を定量化するために、前記少なくとも１つのプロセッサを介して、第１のスコアまたは前記第２のスコアの少なくとも１つに従って前記画像フレームのセットを自動的に配置することと、をさらに含む、請求項４３に記載の方法。

Images